(Human) Attention Is (Still) All You Need: Human oversight makes AI-assisted social science reliable

Resumen Técnico: La supervisión humana hace que la ciencia asistida por IA sea confiable

Declaración del problema
Los modelos de lenguaje de gran tamaño (LLM) están siendo delegados cada vez más en tareas tradicionalmente reservadas para investigadores capacitados, incluyendo la generación de hipótesis, la selección de especificaciones y la redacción de conclusiones. Si bien esto representa un cambio hacia la automatización a nivel de flujo de trabajo, el artículo sostiene que la confiabilidad de dicha ciencia asistida por IA no es meramente una función de la capacidad del modelo. En cambio, es un problema estructural que surge del desajuste entre la naturaleza probabilística de los LLM y la disciplina determinista requerida en las ciencias sociales empíricas. La delegación sin restricciones amplifica los modos de falla conductuales conocidos —como la búsqueda de especificaciones, la interpretación motivada y las afirmaciones causales frágiles— porque los LLM pueden explorar vastos espacios de búsqueda y alucinar referencias a escalas que superan con creces la capacidad humana. El problema central es cómo estructurar el trabajo cognitivo entre humanos y máquinas para garantizar resultados confiables sin depender únicamente de la alineación del modelo.

Metodología
Los autores proponen y evalúan HLER (Human-in-the-Loop Economic Research), un sistema multi-agente modular diseñado en torno a principios de las ciencias del comportamiento. La metodología consiste en un experimento factorial $2 \times 4$ preespecificado ($N=280$ ejecuciones de investigación completas) que compara dos configuraciones de pipeline a través de cuatro conjuntos de datos distintos:

1. UK Biobank (UKB)
2. China Health and Nutrition Survey (CHNS)
3. China Health and Retirement Longitudinal Study (CHARLS)
4. CMGPD-Liaoning (un registro de población de la dinastía Qing, que representa una baja familiaridad para los LLM).

La intervención arquitectónica (HLER):
El pipeline restringido de HLER impone tres compromisos arquitectónicos específicos:

1. Partición del Operador: Los LLM están restringidos a tareas de razonamiento intensivo y exploratorio (generación de hipótesis, crítica, interpretación). La construcción de datos y la estimación estadística se ejecutan mediante código determinista (scripts de R) que emite artefactos reproducibles.
2. Secuenciación de Decisiones: Tres puertas de decisión humanas explícitas intervienen antes de que los resultados posteriores sean visibles: (i) selección de la pregunta de investigación, (ii) revisión de la estrategia de identificación y (iii) decisión de publicación.
3. Responsabilidad: Un Orquestador central mantiene un RunState persistente, asegurando la consistencia entre etapas y una pista de auditoría.

La Línea Base:
La línea base sin restricciones utiliza el mismo modelo de lenguaje subyacente (Claude Sonnet 4.6), la misma descomposición de agentes e idénticos prompts para los agentes de razonamiento. Sin embargo, carece de puertas humanas y delega la construcción de datos y la estimación a código generado por el LLM, permitiendo que el sistema avance de forma autónoma a través de todas las etapas.

Modelo Teórico
El artículo modela la producción de investigación utilizando un marco basado en tareas con una calidad de salida distribuida de Fréchet. Postula que la calidad de la salida de los LLM sigue una distribución de Fréchet donde el parámetro de escala $\theta_t$ depende de la proximidad de la tarea a la distribución de entrenamiento del modelo. El modelo predice que la supervisión humana (puertas) genera los mayores dividendos de confiabilidad precisamente cuando las tareas están más alejadas de la distribución de entrenamiento (bajo $\theta_t$), ya que la "cola mala" de las salidas probabilísticas tiene más probabilidades de caer por debajo del umbral de publicación.

Resultados Clave

• Reducción de Fallas: El pipeline sin restricciones produjo fallas críticas en el 72% de las ejecuciones. Cuando el mismo modelo y la misma descomposición de agentes se organizaron bajo los compromisos arquitectónicos de HLER, la tasa de falla cayó al 16% ($p < 0.001$, prueba exacta de Fisher).
• Ganancias Específicas por Dimensión: HLER mejoró significativamente la factibilidad (0.37 $\to$ 0.83), la credibilidad de la identificación (0.31 $\to$ 0.65) y la consistencia de los resultados (0.29 $\to$ 0.78).
• Heterogeneidad: La ganancia de confiabilidad fue más pronunciada en el conjunto de datos CMGPD-Liaoning (la tasa de falla se redujo del 88% al 16%), que tiene la menor prevalencia de literatura y las convenciones de datos más divergentes. Esto concuerda con la predicción teórica de que las puertas humanas son más valiosas para tareas fuera de la distribución.
• Modos de Falla: Las ejecuciones sin restricciones exhibieron tasas significativamente más altas de referencias alucinadas (21 frente a 3), inconsistencias de interpretación (18 frente a 3) y preguntas infactibles en comparación con el brazo restringido. Las fallas de procesamiento de datos deterministas fueron raras en ambos brazos (1 cada uno), confirmando la confiabilidad de la ejecución basada en código.
• Estudio de Ablación: Una ablación de 80 ejecuciones en CHNS y CHARLS sugirió que la computación determinista y las puertas humanas contribuyen de forma independiente a la confiabilidad, con evidencia exploratoria de complementariedad. Eliminar ambas características elevó las tasas de falla al 70%, acercándose a la línea base sin restricciones.

Contribuciones y Reivindicaciones Clave
El artículo sostiene que la confiabilidad en la investigación asistida por IA es una propiedad de la arquitectura de decisión y no solo de la capacidad del modelo. Sus principales contribuciones son:

1. El Concepto de "Arnés de Investigación": HLER se conceptualiza no como un científico de IA autónomo, sino como un "arnés de investigación" que canaliza el razonamiento generado por el LLM a través de la computación determinista y puertas humanas explícitas. No garantiza resultados perfectos, pero reduce drásticamente las fallas críticas y evita que las afirmaciones no confiables avancen como trabajos listos para publicación.
2. Soluciones Estructurales vs. Técnicas: Los hallazgos sugieren que el marco de "calidad del modelo" es incompleto. El mismo modelo puede producir una tasa de falla del 72% o del 16% basándose únicamente en cómo se asigna el trabajo cognitivo. La solución reside en el diseño de sistemas conductuales (secuenciación, dispositivos de compromiso y colocación de puertas) más que puramente en la ingeniería de ML.
3. Pre-registro Arquitectónico: Las tres puertas humanas funcionan como un pre-registro forzado, vinculando las decisiones a la información disponible antes de conocer los resultados. Esto integra los compromisos metodológicos en el código, convirtiéndolos en la norma por defecto en lugar de ser voluntarios.
4. Contención de Fallas: El sistema redefine la confiabilidad para incluir la "contención" de salidas incorrectas. Al detectar debilidades tempranas (por ejemplo, preguntas infactibles o identificación débil) y detenerlas en las puertas humanas, el sistema asegura que los resultados restantes sean más robustos.

Significancia
El artículo concluye que la colaboración productiva entre humanos e IA en la ciencia empírica es fundamentalmente un problema de diseño de decisiones. El objetivo no es eliminar a los humanos del proceso, sino colocar la atención humana en puntos epistémicamente decisivos donde pueda reducir, exponer y contener las fallas de manera más efectiva. Este enfoque ofrece una vía para escalar la investigación asistida por IA manteniendo los estándares disciplinarios requeridos para una ciencia social confiable, particularmente en dominios donde los datos divergen de las distribuciones estándar de entrenamiento de los LLM.