Human Capital, Not Model Benchmarks, Predicts Hybrid Intelligence in Forecasting

Resumo Técnico: O Capital Humano, não os Benchmarks de Modelos, Prediz a Inteligência Híbrida em Previsões

Definição do Problema
A literatura atual sobre a colaboração humano-IA gera resultados conflitantes em relação à produtividade e precisão. Alguns estudos sugerem que a IA aumenta o desempenho de trabalhadores menos qualificados, enquanto outros indicam que os benefícios beneficiam apenas usuários experientes, ou que o acesso a modelos capazes pode, na verdade, degradar o desempenho humano em relação ao modelo trabalhando sozinho. Um confundidor recorrente nesses estudos é a métrica de avaliação: a "capacidade" é frequentemente medida contra problemas onde a IA já codificou a solução (contaminação), ou a "qualidade" é pontuada por avaliadores suscetíveis à fluidez da prosa gerada por IA em vez de um raciocínio substantivo. Este estudo piloto aborda a necessidade de um benchmark objetivo, resolvido externamente, para determinar se o capital humano modera o valor da assistência de IA em previsões e se estilos de interação distintos medeiam esse efeito.

Metodologia
O estudo utilizou um mercado de previsão com dinheiro real (Polymarket) como uma verdade fundamental objetiva, evitando os vieses de avaliadores especialistas ou benchmarks estáticos.

• Participantes e Design: 78 participantes (42 estudantes da UC Berkeley, 36 adultos da comunidade) foram organizados em 26 equipes de três pessoas. Eles foram atribuídos a uma condição apenas-Humano (12 equipes) ou a uma condição Híbrida (14 equipes) com acesso a um de quatro Grandes Modelos de Linguagem (Llama 3.1, Qwen3, GPT-4o, Gemini 3 Pro). Um grupo separado de 30 participantes trabalhou com um modelo "Socrático" que retinha as respostas.
• Tarefa: As equipes previram 10 questões sorteadas aleatoriamente de um conjunto de 30 contratos ao vivo da Polymarket (com resolução entre novembro de 2025 e janeiro de 2026) cobrindo economia, relações internacionais e negócios.
• Métricas: A precisão da previsão foi medida usando o escore Brier escalonado (erro quadrático médio de previsões probabilísticas; quanto menor, melhor).
• Medidas de Capital Humano: Os participantes completaram avaliações de raciocínio fluido (Matrizes de Raven), inteligência geral ($g$), tomada de perspectiva (IRI), humildade intelectual, curiosidade epistêmica, resiliência e traços de personalidade do Big-Five.
• Estilos de Interação: Classificação post-hoc dos participantes híbridos em três estilos emergentes:
  • Automatizadores (Automators): Adotam a resposta do modelo com raciocínio mínimo.
  • Validadores (Validators): Usam o modelo para verificar um palpite prévio.
  • Ciborgues (Cyborgs): Engajam-se em um raciocínio iterativo e complementar.
• Análise: As análises foram conduzidas ao nível do previsor individual usando testes omnibus não paramétricos (Kruskal–Wallis) e testes t de Welch para comparações pareadas, juntamente com correlações de Pearson para traços de capital humano.

Resultos Principais
O estudo identificou uma distribuição "trimodal" de desempenho híbrido, desafiando a noção de um único efeito médio para a colaboração humano-IA:

1. Apenas-Humano: Pontuaram 14,7 (Brier), desempenhando significativamente pior que os modelos, mas melhor que o acaso.
2. Automatizadores: Pontuaram 10,4. Eles reproduziram o comportamento do modelo, mas não conseguiram igualar sua precisão, desempenhando pior que a linha de base de IA-apenas (5,5).
3. Validadores: Pontuaram 31,7. Este grupo, usando a IA para validar palpites prévios, desempenhou significativamente pior do que humanos trabalhando sozinhos e muito abaixo da linha de base de IA.
4. Ciborgues: Pontuaram 3,8. Este grupo minoritário alcançou taxas de erro menores do que cada modelo de IA individualmente e foram estatisticamente indistinguíveis de, e numericamente superiores ao, benchmark do mercado (3,5).

Preditores de Sucesso

• Desacoplamento de Capacidade e Resultado: Na condição Apenas-Humano, a capacidade cognitiva bruta ($g$, raciocínio fluido) previu fortemente a precisão ($r \approx -0,45$). No entanto, na condição Híbrida, a capacidade cognitiva bruta não previu a precisão ($r \approx -0,10$). O modelo forneceu um piso de desempenho, desacoplando a inteligência bruta do resultado final.
• Papel do Capital Humano Colaborativo: O sucesso na condição Híbrida foi previsto por traços colaborativos, em vez de benchmarks. Tomada de perspectiva ($r = -0,32$), curiosidade e humildade intelectual foram os principais diferenciadores.
• Emergência de Ciborgue: O modo "Ciborgue" foi rigidamente controlado pelo capital humano. Os Ciborgues exibiram níveis significativamente mais altos de humildade intelectual, curiosidade e tomada de perspectiva em comparação com outros previsores híbridos (tamanhos de efeito $d > 3,0$).

Significância e Alegações
O artigo postula que a questão da produtividade da IA deve mudar de "se a IA ajuda" para "quando e como ela ajuda". A principal contribuição é a demonstração de que agrupar todas as interações híbridas em um único valor médio obscurece um resultado fortemente trimodal, incluindo um modo "Validador" que degrada ativamente o desempenho.

O estudo afirma que o capital humano colaborativo (especificamente tomada de perspectiva, humildade intelectual e curiosidade) é o moderador crítico que determina se uma equipe humano-IA tem sucesso ou falha. Crucialmente, os traços que fazem um modelo performar bem ou um humano raciocinar isoladamente são distintos dos traços que tornam uma equipe humano-IA eficaz. Os resultados são apresentados como preliminares, mas estatisticamente robustos, servindo para motivar uma replicação pré-registrada atualmente em preparação para confirmar esses tamanhos de efeito e mecanismos causais.

Limitações
Os autores explicitamente observam a natureza piloto deste trabalho: amostras pequenas para os grupos de Ciborgue e Validador ($n=9$ cada), a natureza emergente (não manipulada) dos estilos de interação, o que cria colinearidade com o capital humano, e baixa variância dentro da condição. Consequentemente, as comparações entre estilos são descritivas em vez de causais, e o estudo visa gerar estimativas de tamanho de efeito para um futuro teste confirmatório.