Human Capital, Not Model Benchmarks, Predicts Hybrid Intelligence in Forecasting

Resumen Técnico: El capital humano, y no los benchmarks de modelos, predice la inteligencia híbrida en la previsión

Planteamiento del problema
La literatura actual sobre la colaboración humano–IA arroja resultados contradictorios con respecto a la productividad y la precisión. Algunos estudios sugieren que la IA aumenta las capacidades de los trabajadores menos cualificados, mientras que otros indican que los beneficios solo se derivan de usuarios experimentados, o que el acceso a modelos capaces en realidad degrada el rendimiento humano en comparación con el modelo trabajando solo. Un factor de confusión recurrente en estos estudios es la métrica de evaluación: la "capacidad" se mide a menudo frente a problemas donde la IA ya ha codificado la solución (contaminación), o la "calidad" es calificada por evaluadores susceptibles a la fluidez de la prosa generada por la IA en lugar de al razonamiento sustantivo. Este estudio piloto aborda la necesidad de un benchmark objetivo, resuelto externamente, para determinar si el capital humano modera el valor de la asistencia de la IA en la previsión y si distintos estilos de interacción median este efecto.

Metodología
El estudio utilizó un mercado de predicción con dinero real (Polymarket) como una verdad de base objetiva, evitando los sesgos de evaluadores expertos o benchmarks estáticos.

• Participantes y diseño: 78 participantes (42 estudiantes de UC Berkeley, 36 adultos de la comunidad) fueron organizados en 26 equipos de tres personas. Fueron asignados ya sea a una condición de Solo Humano (12 equipos) o a una condición Híbrida (14 equipos) con acceso a uno de cuatro Modelos de Lenguaje Extensos (Llama 3.1, Qwen3, GPT-4o, Gemini 3 Pro). Un grupo separado de 30 participantes trabajó con un modelo "Socrático" que retenía las respuestas.
• Tarea: Los equipos pronosticaron 10 preguntas extraídas aleatoriamente de un conjunto de 30 contratos de Polymarket en vivo (con resolución entre noviembre de 2025 y enero de 2026) que cubrían economía, relaciones internacionales y negocios.
• Métricas: La precisión de la previsión se midió utilizando la puntuación Brier escalada (error cuadrático medio de las previsiones probabilísticas; cuanto menor, mejor).
• Medidas de capital humano: Los participantes completaron evaluaciones de razonamiento fluido (Matrices de Raven), inteligencia general ($g$), toma de perspectiva (IRI), humildad intelectual, curiosidad epistémica, resiliencia y rasgos de personalidad del Big-Five.
• Estilos de interacción: Clasificación post-hoc de los participantes híbridos en tres estilos emergentes:
  • Automatizadores: Adoptan la respuesta del modelo con un razonamiento mínimo.
  • Validadores: Utilizan el modelo para verificar una suposición previa.
  • Cyborgs: Participan en un razonamiento iterativo y complementario.
• Análisis: Los análisis se realizaron a nivel de pronosticador individual utilizando pruebas omnibus no paramétricas (Kruskal–Wallis) y pruebas t de Welch para comparaciones por pares, junto con correlaciones de Pearson para los rasgos de capital humano.

Resultados clave
El estudio identificó una distribución "trimodal" del rendimiento híbrido, desafiando la noción de un único efecto promedio para la colaboración humano–IA:

1. Solo Humano: Obtuvieron 14.7 (Brier), desempeñándose significativamente peor que los modelos pero mejor que el azar.
2. Automatizadores: Obtuvieron 10.4. Reprodujeron el comportamiento del modelo, pero no lograron igualar su precisión, desempeñándose peor que la línea de base de la IA (5.5).
3. Validadores: Obtuvieron 31.7. Este grupo, que utilizaba la IA para ratificar suposiciones previas, desempeñó significativamente peor que los humanos trabajando solos y muy por debajo de la línea de base de la IA.
4. Cyborgs: Obtuvieron 3.8. Este grupo minoritario logró tasas de error inferiores a cada modelo de IA individual y fueron estadísticamente indistinguibles de, y numéricamente superiores a, el benchmark del mercado (3.5).

Predictores de éxito

• Desacoplamiento de la capacidad y el resultado: En la condición Solo Humano, la capacidad cognitiva bruta ($g$, razonamiento fluido) predijo fuertemente la precisión ($r \approx -0.45$). Sin embargo, en la condición Híbrida, la capacidad cognitiva bruta no predijo la precisión ($r \approx -0.10$). El modelo suministró un suelo de rendimiento, desacoplando la inteligencia bruta del resultado final.
• Rol del capital humano colaborativo: El éxito en la condición Híbrida fue predicho por rasgos colaborativos en lugar de benchmarks. La toma de perspectiva ($r = -0.32$), la curiosidad y la humildad intelectual fueron los principales diferenciadores.
• Emergencia de Cyborg: El modo "Cyborg" estuvo estrictamente regulado por el capital humano. Los Cyborgs exhibieron niveles significativamente más altos de humildad intelectual, curiosidad y toma de perspectiva en comparación con otros pronosticadores híbridos (tamaños de efecto $d > 3.0$).

Significancia y afirmaciones
El artículo plantea que la cuestión de la productividad de la IA debe desplazarse de "si la IA ayuda" a "cuándo y cómo ayuda". La principal contribución es la demostración de que agrupar todas las interacciones híbridas en un solo promedio oscurece un resultado fuertemente trimodal, incluyendo un modo "Validador" que degrada activamente el desempeño.

El estudio afirma que el capital humano colaborativo (específicamente la toma de perspectiva, la humildad intelectual y la curiosidad) es el moderador crítico que determina si un equipo humano–IA tiene éxito o fracasa. Crucialmente, los rasgos que hacen que un modelo funcione bien o que un humano razone bien en aislamiento son distintos de los rasgos que hacen que un equipo humano–IA sea efectivo. Los resultados se presentan como preliminares pero estadísticamente robustos, sirviendo para motivar una replicación pre-registrada actualmente en preparación para confirmar estos tamaños de efecto y mecanismos causales.

Limitaciones
Los autores señalan explícitamente la naturaleza piloto del trabajo: tamaños de muestra pequeños para los grupos Cyborg y Validador ($n=9$ cada uno), la naturaleza emergente (no manipulada) de los estilos de interacción, lo que crea colinealidad con el capital humano, y una baja varianza dentro de la condición. En consecuencia, las comparaciones entre estilos son descriptivas en lugar de causales, y el estudio tiene como objetivo generar estimaciones de tamaño de efecto para un futuro ensayo confirmatorio.