Resumo Técnico: Princípios e Diretrizes para Ensaios Controlados Aleatorizados na Avaliação de IA

Declaração do Problema

A credibilidade da pesquisa empírica em diversas disciplinas tem enfrentado escrutínio sustentado devido a crises de replicação, designs de ensaios heterogêneos e transparência inadequada. No domínio específico da avaliação de sistemas avançados de IA, essas questões são agravadas pela quase total ausência de melhores práticas estabelecidas. Os ecossistemas atuais de avaliação dependem fortemente de avaliações de referência (benchmarks), rankings e auditorias, que não fornecem garantias robustas quanto ao desempenho da IA em diferentes domínios ou grupos de usuários.

Existe uma lacuna crítica na metodologia para avaliar o "aumento humano" (human uplift) — o efeito causal do acesso à IA no desempenho humano. A terminologia é inconsistente; "aumento" é frequentemente confundido com "efeito do tratamento", "impacto incremental" ou simples "avaliação de desempenho", levando a definições conflitantes entre principais organizações de IA (por exemplo, RAND, Instituto de Segurança de IA do Reino Unido, Anthropic, OpenAI). Além disso, os padrões de relatórios existentes (como CONSORT-AI, SPIRIT-AI e STARE-HI) foram projetados para intervenções clínicas ou de software estáticas e não abordam desafios específicos da IA, incluindo:

• Evolução rápida dos modelos: Suposições de intervenção estática não se sustentam para sistemas submetidos a atualizações frequentes, alterações de prompts ou ajuste fino.
• Contaminação e transbordamento: Em ambientes multiusuário, grupos de controle podem acessar modelos não autorizados pelo protocolo, violando as premissas de Ensaios Controlados Aleatorizados (RCT).
• Dinâmicas de interação Humano-IA: Estruturas existentes carecem de orientações sobre a documentação de instruções ao usuário, níveis de autonomia e modificação de saída.
• Validade de constructo: Métricas padrão (por exemplo, velocidade, contagem de tokens) podem não refletir melhorias genuínas de capacidade, como qualidade de raciocínio ou confiança.
• Barreiras à reprodutibilidade: Modelos de código fechado e sistemas baseados em API tornam a transparência tradicional (compartilhamento de pesos/dados) insuficiente; a reprodutibilidade agora depende de logs, prompts e metadados.

Sem padrões claros, formuladores de políticas e órgãos de governança não podem agregar descobertas, e decisões técnicas relativas a limiares de implantação e segurança dependem de estudos potencialmente subdimensionados ou mal projetados.

Metodologia

Este trabalho estabelece uma estrutura fundamental ao adaptar o quadro de quatro validades de Shadish-Cook-Campbell (Shadish et al., 2002) e estendê-lo com um quinto princípio derivado das Diretrizes de Transparência e Promoção da Abertura (TOP) (Centro para Ciência Aberta, 2025). Os autores operacionalizam esses cinco princípios em 33 diretrizes concretas adaptadas especificamente para RCTs de avaliação de IA.

A estrutura define um RCT de avaliação de IA como um ensaio controlado aleatorizado que mede o efeito causal do acesso ou uso de IA em um determinado resultado humano (por exemplo, comportamento, desempenho, bem-estar), distinto de avaliações de referência que avaliam saídas de modelos contra conjuntos de teste fixos.

A metodologia envolve:

1. Adaptação dos Princípios de Validade: Estender a Validade de Constructo, Interna, Externa e de Conclusão Estatística para abordar ameaças específicas da IA (por exemplo, deriva de versão do modelo, interferência).
2. Integração da Transparência: Desenvolver uma hierarquia de quatro níveis para Transparência, Repetibilidade e Verificação (TRV) que escala a força das alegações causais com base na verificabilidade.
3. Operacionalização: Traduzir princípios abstratos em requisitos acionáveis cobrindo desenho do estudo, análise, relatórios e pré-registro.
4. Base de Evidências: Basear-se em padrões estabelecidos da engenharia de software, economia, ciências clínicas e psicologia, ao mesmo tempo que aborda lacunas identificadas em entrevistas recentes com profissionais (Paskov et al., 2026).

Contribuições Principais

1. Um Quadro de Cinco Princípios para RCTs de IA

O artigo formaliza cinco princípios centrais que servem como ferramentas interpretativas para determinar a validade das alegações:

• Validade de Constructo: Garante que as medidas de resultado capturem constructos subjacentes (por exemplo, competência em programação) em vez de proxies estreitos (por exemplo, velocidade) que a IA pode otimizar sem melhoria genuína de habilidade.
• Validade Interna: Garante que as diferenças observadas sejam atribuíveis à intervenção de IA, abordando ameaças como contaminação do grupo de controle, atualizações de modelo durante o estudo e conformidade diferencial.
• Validade Externa: Define o escopo de generalização em relação à população (por exemplo, níveis de alfabetização em IA), tarefas e configurações, alertando explicitamente contra a generalização excessiva a partir de amostras WEIRD (Ocidental, Educada, Industrializada, Rica, Democrática) ou tarefas artificiais.
• Validade de Conclusão Estatística: Aborda limiares de evidência, poder e precisão. A estrutura recomenda $\alpha = 0,005$ para alegações causais novas para reduzir falsos positivos, enfatiza a estimativa do tamanho do efeito com intervalos de confiança e distingue entre análises exploratórias e confirmatórias.
• Transparência, Repetibilidade e Verificação (TRV): Um quadro graduado onde a força da alegação causal escala com a verificabilidade. Distingue entre:
  • Nível 1 (Divulgação): Relatar o que foi feito.
  • Nível 2 (Compartilhamento): Depositar dados/código/materiais.
  • Nível 3 (Verificação): Confirmação independente de que os materiais são acessíveis e o código é executável.
  • Nível 4 (Repetibilidade): Reprodução independente, verificações de robustez e replicação com novos dados.

2. Trinta e Três Diretrizes Operacionalizadas

Os autores fornecem uma lista de verificação abrangente (Apêndice A) cobrindo todo o ciclo de vida da pesquisa. Diretrizes principais incluem:

• Desenho: Pré-registro de protocolos, definição do Critério de Avaliação Geral (OEC) antes da coleta de dados e uso de randomização estratificada baseada em alfabetização em IA e expertise de domínio.
• Implementação: Monitoramento da conformidade por meio de rastreamento objetivo (logs de API, gravações de tela), garantindo equivalência de interface entre tratamento e controle, e controlando o esforço do participante.
• Análise: Uso da intenção de tratar (ITT) como análise primária, realização de análises de sensibilidade para conformidade e relatórios de métricas de heterogeneidade (por exemplo, $\tau^2$).
• Relatórios: Uso de um continuum de evidência para valores-p (evitando linguagem binária "significativo/não significativo"), relato de danos e efeitos não intencionais e distinção entre significância estatística, prática e científica.

3. Abordagem de Desafios Específicos da IA

A estrutura introduz explicitamente mecanismos para lidar com:

• Versionamento de Modelos: "Fixação" (pinning) de versões de modelo e monitoramento de deriva.
• Efeitos de Transbordamento: Uso de randomização em cluster ou monitoramento para prevenir que o uso não autorizado de modelos contamine grupos de controle.
• Heterogeneidade: Pré-especificação de subgrupos (por exemplo, por alfabetização em IA) e cálculo de poder para efeitos de interação, que exigem tamanhos de amostra significativamente maiores do que efeitos principais.
• Impacto Equitativo: Avaliação de se a IA beneficia ou prejudica subpopulações específicas, em vez de depender exclusivamente de efeitos médios de tratamento.

Resultados e Alegações

O artigo não apresenta novos dados empíricos ou resultados experimentais. Em vez disso, seus "resultados" são o próprio quadro e as diretrizes. Os autores afirmam que este trabalho:

• Padroniza o Campo: Fornece uma infraestrutura compartilhada para planejamento, revisão e definição de padrões para RCTs de avaliação de IA.
• Formaliza a Inferência Causal: Adapta a metodologia de RCT à natureza dinâmica da IA, indo além da simples avaliação de referência para inferência causal sobre o desempenho humano.
• Mitiga Ameaças à Validade: Cataloga sistematicamente ameaças à validade específicas da IA (por exemplo, "deriva de versão do modelo", "confundimento de constructo com assistência de IA") e fornece soluções baseadas em desenho.
• Eleva os Padrões de Evidência: Propõe limiares estatísticos mais rigorosos ($\alpha = 0,005$) e um quadro de transparência graduado para contrapor os riscos de "falsos positivos" em um campo nascente com altos graus de liberdade do pesquisador.

Significado e Impacto Pretendido

Os autores posicionam este quadro como servindo a três papéis principais:

1. Ferramenta de Desenho: Uma lista de verificação pré-estudo para pesquisadores garantirem rigor metodológico no planejamento de estudos de aumento humano por IA.
2. Rubrica de Avaliação: Um padrão de revisão para financiadores, periódicos e órgãos de governança para avaliar a credibilidade do trabalho existente e compreender os limites inferenciais das descobertas relatadas.
3. Plano para Definição de Padrões: Um roteiro para o campo convergir em normas, potencialmente elevando diretrizes específicas para requisitos obrigatórios (por exemplo, pré-registro obrigatório) à medida que o campo amadurece.

O artigo conclui que práticas de avaliação rigorosas, transparentes e repetíveis são salvaguardas essenciais. Elas garantem que o desenvolvimento de IA prossiga com base em evidências credíveis, que os benefícios sejam distribuídos equitativamente e que as alegações sobre capacidades de IA estejam alinhadas com a realidade empírica. Os autores reconhecem limitações, observando que o quadro se concentra exclusivamente em desenhos experimentais (excluindo estudos observacionais) e impõe demandas substanciais de recursos. Eles convocam trabalhos futuros para validar o quadro por meio de revisão sistemática pela comunidade e implementação piloto.