Quantifying the Expectation-Realisation Gap for Agentic AI Systems

Resumo Técnico: A Lacuna entre Expectativa e Realização em Sistemas de IA Agêntica

1. O Problema

Sistemas de IA agêntica (agentes autônomos capazes de planejar, raciocinar e executar tarefas multi-etapa com supervisão humana limitada) estão sendo adotados massivamente em engenharia de software, medicina clínica e operações de atendimento ao cliente. A premissa de adoção baseia-se em expectativas de ganhos transformadores de produtividade, frequentemente impulsionadas por promessas de fornecedores (ex.: "5 minutos economizados por consulta" ou "aceleração de 24%").

O problema central identificado é a Lacuna entre Expectativa e Realização (Expectation–Realisation Gap): existe uma discrepância sistemática e mensurável entre as expectativas pré-implementação (baseadas em previsões de usuários, alegações de fornecedores ou métricas internas de desenvolvedores) e os resultados pós-implementação validados empiricamente. Organizações correm o risco de investir em sistemas que entregam ganhos marginais ou impõem custos líquidos negativos devido à falta de evidências robustas antes da implantação.

2. Metodologia

O artigo não apresenta um novo experimento único, mas sim uma revisão sistemática e síntese de evidências empíricas provenientes de ensaios controlados randomizados (RCTs), validações externas independentes e estudos de campo. A análise foca em três domínios críticos:

• Engenharia de Software: Comparação de velocidade de conclusão de tarefas com e sem assistência de IA.
• Documentação Clínica: Avaliação de ferramentas de "scribes" (transcritores) ambientais em relação ao tempo de documentação e qualidade.
• Suporte à Decisão Clínica: Validação externa de modelos de IA para diagnóstico e tratamento (ex.: sepse e oncologia) comparada a métricas reportadas pelos desenvolvedores.

A metodologia enfatiza a distinção entre métricas de "laboratório" (tarefas restritas, alto contexto controlado) e métricas de "campo" (integração em fluxos de trabalho reais, custos de verificação e adoção parcial).

3. Principais Contribuições

O artigo contribui para o campo ao:

1. Quantificar a Lacuna: Estabelecer numericamente o erro de calibração entre previsões e resultados reais em múltiplos setores.
2. Identificar Drivers Mecanísticos: Isolar as causas raiz da discrepância, que vão além de falhas no modelo de IA, envolvendo fatores socio-técnicos.
3. Demonstrar Heterogeneidade: Provar que os efeitos do tratamento não são uniformes; a eficácia depende criticamente da experiência do usuário, complexidade da tarefa e contexto local.
4. Propor um Framework de Planejamento: Introduzir o Agentic Automation Canvas (AAC) como uma estrutura para quantificar expectativas, custos de supervisão humana e heterogeneidade antes da implantação.

4. Resultados Chave

A. Engenharia de Software

• Inversão de Resultados: Em um RCT da METR com desenvolvedores experientes, a expectativa prévia era de uma aceleração de 24%. O resultado real foi um desaceleramento de 19% (um erro de calibração de 43 pontos percentuais).
• Dependência da Tarefa: Em tarefas bem definidas e restritas (ex.: criar um servidor HTTP), ferramentas como o GitHub Copilot mostraram acelerações de 56%, superando expectativas. No entanto, em repositórios maduros e de alto contexto, a sobrecarga de revisão e integração supera o tempo economizado na geração inicial.
• Qualidade e Segurança: Ganhos de produtividade bruta muitas vezes ignoram a degradação da qualidade. Análises de segurança indicam que até 32,8% dos snippets de Python gerados por Copilot contêm problemas de segurança, exigindo esforço humano adicional para correção.

B. Documentação Clínica

• Discrepância de Tempo: Fornecedores prometem economias de vários minutos por consulta. Estudos controlados mostram reduções de menos de um minuto (ex.: 46 segundos) ou efeitos estatisticamente nulos.
• Adoção Parcial: A utilidade real é diluída pela baixa adesão. Em um estudo da UCLA, as ferramentas foram usadas em apenas 30–34% das consultas, e 15% dos médicos nunca as utilizaram.
• Deslocamento de Esforço: A redução no tempo de documentação durante o horário de trabalho foi frequentemente compensada por um aumento no tempo de trabalho fora do horário (EHR time), indicando apenas um deslocamento de carga, não uma redução líquida.
• Percepção vs. Realidade: 86,5% dos médicos perceberam que economizaram tempo, mas não houve correlação estatística entre essa percepção e a redução objetiva medida.

C. Suporte à Decisão Clínica

• Queda de Desempenho: Modelos validados externamente performam muito abaixo das métricas internas. O Epic Sepsis Model, reportado com AUROC de 0,76–0,83, validou-se com AUROC de 0,63 em um sistema de saúde externo, com sensibilidade operacional de apenas 33%.
• Inconsistência Contextual: O Watson for Oncology mostrou concordância de 96% em testes internos, mas caiu para 48,9% em validação externa para câncer de cólon, devido a discrepâncias em diretrizes locais, reembolso e demografia de pacientes.

Drivers Mecanísticos da Lacuna:

1. Fricção de Integração: A adoção parcial e a incompatibilidade com fluxos de trabalho existentes reduzem o impacto real.
2. Carga de Verificação: O tempo gasto revisando, depurando e corrigindo erros da IA anula os ganhos de geração.
3. Mudança de Construto de Medição: Métricas de fornecedores (ex.: "minutos por interação") não correspondem às métricas de avaliação (ex.: "tempo na nota" ou "sensibilidade clínica").
4. Heterogeneidade de Efeito: Usuários inexperientes ou tarefas raras tendem a se beneficiar mais, enquanto especialistas em fluxos otimizados podem sofrer desaceleração.

5. Significância e Implicações

O artigo conclui que a lacuna entre expectativa e realidade é empiricamente documentada, direcionalmente consistente e mecanisticamente explicável. Ignorar esses fatores leva a ciclos de "superpromessa e subentrega" que erodem a confiança na IA.

Para fechar essa lacuna, o artigo defende uma mudança de paradigma:

• Planejamento Estruturado: Abandonar previsões intuitivas ou baseadas em marketing.
• Quantificação Explícita: Definir expectativas de benefício em múltiplas dimensões (tempo, qualidade, risco, custo) com níveis de confiança.
• Custos de Supervisão: Deduzir sistematicamente o custo humano de verificação e correção dos ganhos brutos projetados.
• Modelagem de Heterogeneidade: Reconhecer que não existe um efeito de tratamento global positivo; o planejamento deve especificar quem se beneficia e em quais tarefas.

A proposta final é a adoção de frameworks como o Agentic Automation Canvas (AAC), que formaliza um contrato bidirecional entre stakeholders, garantindo que as expectativas sejam testáveis, versionadas e alinhadas com a realidade operacional antes do investimento em larga escala.