(Human) Attention Is (Still) All You Need: Human oversight makes AI-assisted social science reliable

Resumo Técnico: A Supervisão Humana Torna a Ciência Assistida por IA Confiável

Declaração do Problema
Modelos de linguagem de grande escala (LLMs) estão sendo cada vez mais delegados a tarefas tradicionalmente reservadas a pesquisadores treinados, incluindo geração de hipóteses, seleção de especificações e redação de conclusões. Embora isso represente uma mudança em direção à automação em nível de fluxo de trabalho, o artigo argumenta que a confiabilidade de tal ciência assistida por IA não é meramente uma função da capacidade do modelo. Em vez disso, é uma questão estrutural decorrente do descompasso entre a natureza probabilística dos LLMs e a disciplina determinística exigida na ciência social empírica. A delegação sem restrições amplifica modos de falha comportamentais conhecidos — como busca de especificação (specification searching), interpretação motivada e alegações causais frágeis — porque os LLMs podem explorar vastos espaços de busca e alucinar referências em escalas que excedem em muito a capacidade humana. O problema central é como estruturar o trabalho cognitivo entre humanos e máquinas para garantir resultados confiáveis sem depender exclusivamente do alinhamento do modelo.

Metodologia
Os autores propõem e avaliam o HLER (Human-in-the-Loop Economic Research), um sistema multiagente modular projetado em torno de princípios de ciências comportamentais. A metodologia envolve um experimento fatorial $2 \times 4$ pré-especificado ($N=280$ execuções de pesquisa completas) comparando duas configurações de pipeline através de quatro conjuntos de dados distintos:

1. UK Biobank (UKB)
2. China Health and Nutrition Survey (CHNS)
3. China Health and Retirement Longitudinal Study (CHARLS)
4. CMGPD-Liaoning (um registro populacional histórico da dinastia Qing, representando baixa familiaridade para os LLMs).

A Intervenção Arquitetônica (HLER):
O pipeline HLER restrito impõe três compromissos arquitetônicos específicos:

1. Particionamento de Operador: Os LLMs são restritos a tarefas de raciocínio intensivo e exploratório (geração de hipóteses, crítica, interpretação). A construção de dados e a estimação estatística são executadas via código determinístico (scripts em R) que emitem artefatos reproduzíveis.
2. Sequenciamento de Decisão: Três portões de decisão humana explícitos intervêm antes que os resultados subsequentes se tornem visíveis: (i) seleção da pergunta de pesquisa, (ii) revisão da estratégia de identificação e (iii) decisão de publicação.
3. Responsabilidade (Accountability): Um Orquestrador central mantém um RunState persistente, garantindo consistência entre as etapas e uma trilha de auditoria.

O Baseline:
O baseline sem restrições utiliza o mesmo modelo de linguagem subjacente (Claude Sonnet 4.6), a mesma decomposição de agentes e prompts idênticos para os agentes de raciocínio. No entanto, carece de portões humanos e delega a construção de dados e a estimação para código gerado pelo LLM, permitindo que o sistema avance autonomamente por todas as etapas.

Modelo Teórico
O artigo modela a produção de pesquisa usando uma estrutura baseada em tarefas com qualidade de saída distribuída de Fréchet. Postula que a qualidade da saída do LLM segue uma distribuição de Fréchet onde o parâmetro de escala $\theta_t$ depende da proximidade da tarefa com a distribuição de treinamento do modelo. O modelo prevê que a supervisão humana (portões) gera os maiores dividendos de confiabilidade precisamente quando as tarefas estão mais distantes da distribuição de treinamento (baixo $\theta_t$), pois a "cauda ruim" das saídas probabilísticas tem maior probabilidade de cair abaixo do limiar para publicação.

Principais Resultados

• Redução de Falhas: O pipeline sem restrições produziu falhas críticas em 72% das execuções. Quando o mesmo modelo e decomposição de agentes foram organizados sob os compromissos arquitetônicos do HLER, a taxa de falha caiu para 16% ($p < 0,001$, teste exato de Fisher).
• Ganhos Específicos por Dimensão: O HLER melhorou significativamente a viabilidade (0,37 $\to$ 0,83), a credibilidade da identificação (0,31 $\to$ 0,65) e a consistência da saída (0,29 $\to$ 0,78).
• Heterogeneidade: O ganho de confiabilidade foi mais pronunciado no conjunto de dados CMGPD-Liaoning (a taxa de falha reduziu de 88% para 16%), que possui a menor prevalência de literatura e as convenções de dados mais divergentes. Isso se alinha à previsão teórica de que os portões humanos são mais valiosos para tarefas fora da distribuição (out-of-distribution).
• Modos de Falha: As execuções sem restrições exibiram taxas significativamente mais altas de referências alucinadas (21 vs. 3), inconsistências de interpretação (18 vs. 3) e perguntas inviáveis em comparação com o braço controlado. Falhas de processamento de dados determinísticos foram raras em ambos os braços (1 em cada), confirmando a confiabilidade da execução baseada em código.
• Estudo de Ablação: Uma ablação de 80 execuções no CHNS e CHARLS sugeriu que o computação determinística e os portões humanos contribuem independentemente para a confiabilidade, com evidência exploratória de complementaridade. A remoção de ambos os recursos elevou as taxas de falha para 70%, aproximando-se do baseline sem restrições.

Principais Contribuições e Alegações
O artigo afirma que a confiabilidade na pesquisa assistida por IA é uma propriedade da arquitetura de decisão, e não apenas da capacidade do modelo. Suas principais contribuições são:

1. O Conceito de "Arreio de Pesquisa" (Research Harness): O HLER é conceituado não como um cientista de IA autônomo, mas como um "arreio de pesquisa" que canaliza o raciocínio gerado por LLM através de computação determinística e portões humanos explícitos. Ele não garante saídas perfeitas, mas reduz drasticamente falhas críticas e impede que alegações não confiáveis avancem como trabalhos prontos para publicação.
2. Soluções Estruturais vs. Técnicas: Os achados sugerem que o enquadramento de "qualidade do modelo" é incompleto. O mesmo modelo pode produzir uma taxa de falha de 72% ou de 16% apenas com base em como o trabalho cognitivo é alocado. A solução reside no design de sistemas comportamentais (sequenciamento, dispositivos de compromisso e posicionamento de portões) e não puramente na engenharia de ML.
3. Pré-registro Arquitetônico: Os três portões humanos funcionam como um pré-registro forçado, vinculando decisões às informações disponíveis antes que os resultados sejam conhecidos. Isso incorpora compromissos metodológicos no código, tornando-os o padrão em vez de algo voluntário.
4. Contenção de Falhas: O sistema redefine a confiabilidade para incluir a "contenção" de saídas incorretas. Ao detectar fraquezas precocemente (ex: perguntas inviáveis ou identificação fraca) e interrompê-las nos portões humanos, o sistema garante que as saídas restantes sejam mais robustas.

Significância
O artigo conclui que a colaboração produtiva entre humanos e IA na ciência empírica é fundamentalmente um problema de design de decisão. O objetivo não é remover os humanos do ciclo, mas colocar a atenção humana em pontos epistemicamente decisivos, onde ela possa mais efetivamente reduzir, expor e conter falhas. Esta abordagem oferece um caminho para escalar a pesquisa assistida por IA mantendo os padrões disciplinares necessários para uma ciência social confiável, particularmente em domínos onde os dados divergem das distribuições de treinamento padrão de LLMs.