Resumo Técnico: Avaliados em Benchmarks, Mas Não Medidos - A IA Generativa Deve Ser Avaliada Quanto à Utilidade no Mundo Real

1. Declaração do Problema

O artigo identifica uma desconexão crítica entre o alto desempenho dos sistemas de IA Generativa (GenAI) em benchmarks padrão e sua falha em entregar utilidade confiável em implantações do mundo real. Embora benchmarks como ImageNet, GLUE, HumanEval e VBench tenham impulsionado a comparação de modelos e o progresso, eles falham cada vez mais em prever o sucesso em domínios de alto risco, como educação, saúde, engenharia de software e direito.

Os autores analisam 28 casos documentados de implantação para demonstrar que sistemas que alcançam pontuações fortes em benchmarks frequentemente falham em melhorar a capacidade humana, a tomada de decisão ou a aprendizagem ao longo do tempo. Em vez disso, eles frequentemente introduzem vulnerabilidades de segurança, deixam passar casos clínicos críticos ou degradam habilidades de longo prazo. O artigo argumenta que os pipelines de avaliação atuais sofrem de uma falta fundamental de validade construtiva: eles medem métricas substitutas tratáveis (por exemplo, BLEU, pass@k, fluência) que não são medidas válidas dos construtos complexos do mundo real que se supõe representar.

Essa "lacuna entre benchmark e utilidade" é impulsionada por três falhas estruturais recorrentes:

1. Deslocamento de Proxy: Tratar métricas tratáveis como medidas válidas de construtos complexos sem evidências de validade construtiva (por exemplo, equiparar fluência à correção ou redução de custos à necessidade do paciente).
2. Colapso Temporal: Confundir desempenho de curto prazo, assistido por IA, com capacidade duradoura, ignorando efeitos de longo prazo como atrofia de habilidades, dependência excessiva e falta de transferência de conhecimento.
3. Ocultação Distribucional: Permitir que pontuações agregadas mascarem falhas sistemáticas em populações específicas, grupos sub-representados ou configurações de implantação não vistas.

Essas falhas são reforçadas pela saturação de benchmarks, contaminação de dados e otimização ao estilo de Goodhart, onde os sistemas otimizam o proxy em vez do objetivo subjacente.

2. Metodologia e Framework: SCU-GenEval

Para abordar essas lacunas, os autores propõem uma mudança de paradigma da avaliação estática centrada em artefatos para a Avaliação de Utilidade Centrada nas Partes Interessadas (SCU-GenEval). Este framework define utilidade não como a qualidade de um artefato de saída, mas como a mudança na capacidade de uma parte interessada de alcançar seus objetivos ao longo do tempo devido à interação com um sistema de IA.

2.1 Formalização da Utilidade

A utilidade ($U$) é quantificada como a mudança contrafactual no vetor de capacidade de uma parte interessada ($C$) entre um estado antes da interação e um estado após a interação dentro de um contexto de implantação específico ($D$) e horizonte temporal ($t$):
$$U(u, G, y, D, t) = C_{after}(u, G, y, D, t) - C_{before}(u, G, D, t)$$
Onde:

• $u$ é a parte interessada.
• $G$ é o objetivo.
• $y$ é o sistema de IA.
• $C$ é um vetor de indicadores mensuráveis (por exemplo, qualidade da decisão, retenção, segurança, colaboração).

Esta formulação garante que a avaliação seja centrada no resultado do usuário (R1), temporal (R2) e desagregada (R3), abordando diretamente as três falhas estruturais.

2.2 O Processo de Avaliação de Quatro Estágios

O SCU-GenEval operacionaliza a utilidade através de quatro estágios sequenciais e conectados:

1. Mapeamento Parte Interessada–Objetivo: Identificação explícita dos usuários afetados ($u$) e seus objetivos ($G$) para prevenir a ocultação distribucional e garantir que a avaliação vise os resultados humanos corretos.
2. Especificação Construto–Indicador: Definição dos construtos de capacidade do mundo real e seleção de indicadores válidos ($I_k$) para medi-los, servindo como defesa contra o deslocamento de proxy.
3. Modelagem de Mecanismos: Identificação dos mecanismos causais (por exemplo, atrofia de habilidades, viés de automação, reversão de expertise) através dos quais a interação com a IA altera a capacidade ao longo do tempo, abordando o colapso temporal.
4. Medição de Utilidade Longitudinal: Estimação de $U$ usando protocolos específicos:
   • Comparação de Condições: Comparação do desempenho humano isolado, IA isolada e humano+IA.
   • Rastreamento Longitudinal: Medição da durabilidade através de horizontes temporais.
   • Desagregação de Subgrupos: Relato de resultados por tupla $(u, G, D)$.
   • Verificação de Mecanismos: Teste se os mecanismos previstos se manifestam em rastros de interação.
   • Auditabilidade: Registro de dados para replay independente.

2.3 Instrumentos de Apoio

Para tornar este framework prático em escala, os autores propõem três instrumentos:

1. Protocolo Estruturado de Coleta de Dados de Implantação (SDDCP): Um contrato pré-registrado e legível por máquina (análogo ao CONSORT-AI) especificando configurações, construtos, mecanismos e chaves de desagregação antes da implantação.
2. Simuladores de Usuários Condicionados ao Contexto: Simuladores instanciados com personas e objetivos específicos, calibrados contra a verdade fundamental do SDDCP, para estimar efeitos de utilidade de longo prazo (por exemplo, degradação de habilidades) sem exigir meses de trabalho de campo.
3. Métricas Proxy Condicionadas a Persona e Objetivo (PGCPMs): Métricas rápidas e baratas que aproximam a utilidade filtrando conjuntos de avaliação para corresponder a personas específicas de partes interessadas e construtos validados, calibrados contra dados do SDDCP.

3. Contribuições Principais

O artigo faz quatro contribuições principais:

1. Análise Sistemática: Uma análise de 28 casos de implantação em educação, saúde, engenharia de software e direito, demonstrando que a lacuna entre benchmark e utilidade é sistemática, transversal a domínios e recorrente, não anedótica.
2. Diagnóstico Estrutural: A identificação de três causas estruturais da lacuna: deslocamento de proxy, colapso temporal e ocultação distribucional.
3. Framework SCU-GenEval: Um framework inovador para medir a utilidade como mudanças na capacidade humana ao longo do tempo, deslocando a unidade de avaliação da qualidade do artefato para as trajetórias de resultados humanos.
4. Chamadas à Ação Específicas por Domínio: Recomendações concretas para pesquisadores, indústria e formuladores de políticas adotarem a medição de utilidade, incluindo chamadas para relatórios desagregados, estudos longitudinais e protocolos de implantação pré-registrados.

4. Resultados e Evidências

O artigo não apresenta novos resultados experimentais de um único modelo, mas sintetiza evidências de 28 casos existentes (detalhados na Tabela 1) para validar suas alegações:

• Engenharia de Software: Sistemas de geração de código com altas pontuações de pass@k introduziram vulnerabilidades de segurança em ~40% das soluções; ferramentas de programação assistidas por IA foram vinculadas a danos metacognitivos e atrofia de habilidades em desenvolvedores júnior.
• Saúde: O Modelo de Sepse da Epic, apesar de forte validação interna, perdeu 67% dos casos de sepse e alertou falsamente 18% dos pacientes na validação externa. Outros modelos mostraram viés contra grupos raciais específicos ou falharam em generalizar entre locais hospitalares.
• Educação: Sistemas que melhoram a conclusão de tarefas de curto prazo frequentemente falharam em melhorar a retenção ou transferência de longo prazo, e resumos gerados por IA mostraram-se capazes de degradar a "recuperação trabalhosa" necessária para a aprendizagem.
• Direito: Ferramentas de IA jurídica produziram citações fluentes, mas fabricadas, e leis de casos alucinadas, levando a sanções, enquanto ferramentas de avaliação de risco (por exemplo, COMPAS) forneceram pontuações opacas que não podiam ser contestadas.

A aplicação do framework SCU-GenEval a um cenário hipotético "DevAssist" (Figura 2) ilustra como o framework revelaria utilidade negativa para engenheiros juniores e revisores de segurança que benchmarks padrão obscureceriam.

5. Significado e Alegações

O artigo argumenta que, para sistemas com consequências humanas significativas, o desempenho em benchmarks é necessário, mas não é evidência suficiente de utilidade. O significado do trabalho reside em seu chamado por uma ciência de medição centrada na transparência da utilidade condicionada às partes interessadas, e não apenas no desempenho de benchmarks.

Os autores posicionam o SCU-GenEval não como um substituto para benchmarks, mas como um complemento necessário para implantações de alto risco. Eles enfatizam que:

• A validade construtiva é a âncora faltante na avaliação atual; as métricas devem ser validadas contra os resultados de implantação que afirmam representar.
• A utilidade é temporal e desagregada: A avaliação deve rastrear como a capacidade muda ao longo do tempo e entre subgrupos específicos de usuários, em vez de depender de pontuações estáticas e agregadas.
• A praticidade é alcançável: Através dos instrumentos propostos (SDDCP, Simuladores, PGCPMs), a avaliação rigorosa de utilidade pode ser tornada tratável e escalável, impedindo que o "custo" de danos de implantação (por exemplo, lesões de pacientes, violações de segurança) supere o custo da avaliação pré-implantação.

O artigo conclui que o progresso na IA Generativa deve ser avaliado por melhorias mensuráveis nos resultados humanos, instando a comunidade a adotar padrões de relatórios análogos ao CONSORT e TRIPOD para implantação de IA sociotécnica.