Resumo Técnico: Telemetria de Adoção

1. Declaração do Problema

A adoção de IA generativa nas empresas é caracterizada por um paradoxo: o despliegue quase universal coexiste com uma decepção quase universal. A literatura indica que 95% dos pilotos não entregam impacto mensurável no P&L (lucros e perdas), as taxas de abandono de iniciativas aumentaram e sistemas agentes enfrentam altos riscos de cancelamento. O diagnóstico consensual atribui essas falhas a fatores organizacionais (integração ao fluxo de trabalho, patrocínio, mudança de comportamento) em vez da capacidade técnica do modelo.

No entanto, os instrumentos de medição atuais falham em detectar essas falhas organizacionais. As ferramentas existentes dividem-se em quatro tradições distintas e isoladas:

1. Avaliação/Observabilidade de Agentes: Mede a qualidade do sistema (latência, custo, saída), mas trata os humanos como fontes de sinal, não como uma população em processo de mudança.
2. Dashboards de Uso Empresarial: Mede contagens de atividade (usuários ativos, utilização de licenças) e níveis de formação de hábito, mas não consegue distinguir entre uso superficial e integração profunda no fluxo de trabalho.
3. Analytics de Produto: Otimiza para retenção e ativação voluntária do usuário, carecendo de um modelo para gerenciar populações empregadas fixas através de mudanças organizacionais.
4. Gestão de Mudanças: Baseia-se em pesquisas e avaliações de especialistas, que são episódicas e grosseiras, falhando em inferir estágios de adoção a partir de registros comportamentais contínuos.

Isso cria uma lacuna de medição: as organizações não conseguem distinguir um funcionário que apenas amostra uma ferramenta de IA de um cujo trabalho foi fundamentalmente reestruturado. Consequentemente, elas não conseguem identificar onde em o processo de adoção uma população estagnou ou que tipo de falha está ocorrendo.

2. Metodologia: Telemetria de Adoção

O artigo propõe a Telemetria de Adoção, definida como a medição contínua da mudança de comportamento a partir de sinais de sistemas em produção, interpretada através de um modelo explícito de mudança.

Princípios Fundamentais

• Objeto: A progressão de uma população de trabalho através de uma mudança organizacional, não a qualidade do sistema ou atividade bruta.
• Substrato: Telemetria já emitida pelos sistemas implantados (invocações, sessões, turnos, resultados), sem necessidade de pesquisas ou instrumentação adicional.
• Interpretação: Um modelo de mudança explícito e em estágios, onde os marcos são expressos como predicados computáveis sobre a telemetria.
• Propriedades:
  • Computável: A classificação de estágio é derivada mecanicamente de logs, sem julgamento de especialista no momento da medição.
  • Modelo-Explícito: Estágios e limiares são abertos e falsificáveis.
  • Nível de População: Classifica coortes (equipes, funções), não indivíduos, para evitar vigilância e problemas de privacidade.
  • Mapeado para Intervenção: Cada estagnação diagnosticável corresponde a uma classe específica de resposta.

O Modelo NANTE

O autor operacionaliza este conceito no NANTE, um modelo de cinco estágios:

1. Notar (Notice): O usuário é provisionado, mas não possui atividade qualificadora.
2. Tentar (Attempt): O usuário realiza uma primeira invocação.
3. Navegar (Navigate): O usuário engaja em atividade semanal recorrente (limiar proposto: atividade em $\ge$ 3 semanas distintas).
4. Transformar (Transform): O usuário alcança integração multi-etapas sustentada com sucesso da tarefa (proposto: $\ge$ 6 semanas ativas, $\ge$ 60% de sessões multi-etapas, $\ge$ 55% de sucesso da tarefa).
5. Incorporar (Embed): O usuário mantém uma presença semanal quase contínua (proposto: atividade em $\ge$ 90% das semanas desde o primeiro uso).

Detecção de Estagnação: O framework identifica o "ponto de estagnação" como o primeiro limite de estágio onde a fração da lista de presença progredindo cai abaixo de um piso definido.

• Limites de Amplitude (Notar $\to$ Tentar $\to$ Navegar): Saudável se $\ge$ 90% progridem; falhando se $<$ 80%.
• Limites de Profundidade (Navegar $\to$ Transformar $\to$ Incorporar): Definidos com "tetos honestos". Como os dados da indústria sugerem que apenas ~2% alcançam integração profunda, o piso "saudável" é definido acima de 100% (impossível), e o "em risco" é definido em 1%. Uma coorte é marcada como "falhando" apenas se cair significativamente abaixo da linha de base da indústria.

Assinaturas de Falha: O sistema computa flags para modos de falha característicos:

• Platô Superficial (Shallow Plateau): Alta amplitude, profundidade plana (índice de divergência > 0,3).
• Dependência de Campeão (Champion Dependency): Atividade concentrada em poucos usuários (coeficiente de Gini > 0,5).
• Regressão de Uso (Usage Regression): Taxa de invocação de janela tardia < 40% da taxa de janela inicial.
• Baixo Sucesso da Tarefa (Low Task Success): Altas tentativas multi-etapas, mas baixas taxas de sucesso (indicando lacunas de habilidade em vez de falta de acesso).

3. Principais Contribuições

1. Framework Unificado: Um sistema integrando portões pré-implantação, telemetria de produção e estagiamento de gestão de mudanças em uma única arquitetura instrumentada.
2. Operacionalização NANTE: Um modelo concreto de cinco estágios com limiares de telemetria definidos, publicado abertamente para ser testado e refutado.
3. Implementação Open-Source: O agent-adoption-kit (Apache 2.0), que inclui:
   • Um simulador de população sintética gerando fluxos de eventos para seis perfis comportamentais (um saudável, cinco patológicos).
   • Um motor de analytics implementando classificação NANTE, detecção de estagnação e sinalização (flagging).
   • Um gerador de relatórios para comparação de coortes.

4. Resultados

O autor avaliou o framework usando populações sintéticas com verdade fundamental (ground truth) conhecida. O motor distinguiu com sucesso uma coorte saudável de cinco modos de falha característicos:

• Diferenciação de Profundidade: O sistema identificou corretamente uma coorte de "Platô Superficial" (99,4% em Navegar, 0% de profundidade) como estagnada, enquanto um dashboard de uso padrão a classificaria de forma semelhante a uma coorte saudável (73,7% em Navegar, 25,1% em Transformar/Incorporar).
• Localização de Estagnação:
  • Lacuna de Consciência (Awareness Gap): Estagnou corretamente em Notar (provisionado, mas nunca chegou).
  • Lacuna de Habilidade (Ability Gap): Estagnou corretamente em Navegar com uma flag de Baixo Sucesso da Tarefa (usuários tentaram trabalho profundo, mas falharam).
  • Decaimento de Reforço (Reinforcement Decay): Estagnou corretamente em Tentar com uma flag de Regressão de Uso.
  • Dependência de Campeão (Champion Dependency): Identificou corretamente a Dependência de Campeão (alto coeficiente de Gini).
• Limitações de Pontuação Composta: O artigo demonstra que uma pontuação de adoção escalar (0–100) é insuficiente para diagnóstico. Coortes com pontuações idênticas podem ter patologias opostas (ex: uma rasa mas bem-sucedida, outra profunda mas falhando), reforçando a necessidade de distribuição, pontos de estagnação e flags em vez de um único número.

5. Significância e Alegações

O artigo limita explicitamente suas alegações à computabilidade, não à validade.

• O que foi Estabelecido: O framework prova que a progressão de estágios do modelo de mudança e as assinaturas de falha são computáveis a partir da telemetria empresarial existente. Demonstra que essas computações podem discriminar distintos modos de falha fundamentados na literatura usando dados sintéticos.
• O que NÃO foi Estabelecido: Os limiares específicos (ex: 3 semanas para "Navegar") são construtos propostos, não valores calibrados. As patologias sintéticas foram desenvolvidas em conjunto com os limiares, o que significa que a avaliação mostra que o instrumento pode separar as falhas para as quais foi projetado, mas não prova que esses limiares mapeiam para marcos comportamentais do mundo real.
• Significância: O artigo argumenta que a "restrição limitante" no valor da IA mudou da tecnologia (podemos construir?) para a organização (o trabalho muda?). As tradições de medição existentes são estruturalmente incapazes de observar essa mudança porque são segregadas por incentivos comerciais e disciplinas profissionais. A telemetria de adoção oferece o primeiro instrumento aberto e auditável para localizar onde e por que uma organização para de mudar, convertendo dados em diagnóstico acionável em vez de apenas relatórios.

O autor convida as organizações a atuarem como parceiros de design para validar esses limiares contra resultados do mundo real, reconhecendo que o presente trabalho é um "primeiro instrumento para ver" que requer calibração empírica para se tornar um padrão definitivo.