Many AI Analysts, One Dataset: Navigating the Agentic Data Science Multiverse

Este estudio demuestra que los analistas autónomos basados en modelos de lenguaje grande pueden replicar a gran escala y bajo costo la diversidad analítica humana, generando una amplia dispersión de resultados que subraya la necesidad de un nuevo estándar de transparencia que incluya informes de estilo "multiverso" y la divulgación completa de los prompts utilizados.

Lo esencial

Imagina que tienes un recetario de cocina (el conjunto de datos) y una pregunta simple: "¿Este pastel sabe mejor con chocolate o con vainilla?" (la hipótesis).

En el mundo de la ciencia tradicional, si le das ese mismo recetario a 29 chefs humanos diferentes, cada uno preparará el pastel de una forma ligeramente distinta: uno cortará el chocolate en trozos grandes, otro lo fundirá; uno añadirá un poco más de azúcar, otro usará un horno diferente. Al final, aunque todos usaron los mismos ingredientes, algunos dirán que el chocolate gana, otros que gana la vainilla, y otros que es un empate. Esto es lo que los científicos llaman "el jardín de los caminos que se bifurcan": hay muchas formas válidas de llegar a una conclusión, y la elección de la ruta cambia el resultado.

Hasta ahora, hacer este experimento con humanos era caro, lento y difícil de organizar. Necesitabas meses para coordinar a todos esos chefs.

La Gran Innovación: El "Multiverso" de los Analistas de IA

Este paper presenta una idea fascinante: ¿Qué pasa si usamos Inteligencia Artificial (IA) para hacer el trabajo de los chefs?

Los autores crearon un laboratorio virtual donde miles de "analistas de IA" (robots programados con modelos de lenguaje grandes) intentaron resolver los mismos tres problemas científicos usando los mismos datos. Pero con un giro: les dieron diferentes "personalidades" o instrucciones.

Aquí está la analogía de lo que hicieron:

1. El Chef Neutral: "Haz el pastel lo mejor posible, sin prejuicios".
2. El Chef Escéptico: "Estoy seguro de que el chocolate es malo. Intenta demostrar que la vainilla gana, pero sin mentir".
3. El Chef Entusiasta: "¡Estoy seguro de que el chocolate es el mejor! Haz todo lo posible para que el resultado muestre eso".
4. El Chef "Buscador de Confirmación": "Quiero que el chocolate gane sí o sí. Prueba mil combinaciones, mueve los ingredientes, cambia el horno... ¡hasta que el resultado diga que el chocolate gana!".

¿Qué descubrieron?

Los resultados fueron sorprendentes y un poco alarmantes:

• El caos es real: Incluso cuando la IA usaba métodos "correctos" y no inventaba datos, los resultados variaban enormemente. Un mismo análisis podía decir "sí, hay una diferencia" y otro decir "no, no hay nada".
• La personalidad manda: Si le decías a la IA que buscara activamente un resultado específico (el "Chef Buscador de Confirmación"), era mucho más probable que encontrara ese resultado, simplemente cambiando pequeños detalles en el proceso (como qué variables incluir o qué fórmula matemática usar).
• El peligro de la abundancia: Antes, si un científico quería "maquillar" un resultado, tenía que trabajar mucho para encontrar la ruta que le convenía. Ahora, con la IA, puedes generar miles de análisis en segundos. Si buscas el resultado que te gusta, es muy fácil que la IA te lo encuentre, incluso si no es la verdad absoluta. Es como tener un millón de chefs: seguro que alguno te dirá exactamente lo que quieres oír.

La Solución Propuesta: No confiar en un solo pastel

El paper no dice que la IA sea mala, sino que nos enseña una nueva forma de ver la ciencia. En lugar de pedirle a un solo analista (humano o robot) que nos dé una respuesta, deberíamos pedirle que nos muestre todas las respuestas posibles.

Imagina que en lugar de pedir un solo pastel, te piden que te muestre un espectro de pasteles:

• "Aquí tienes el pastel hecho con la receta A".
• "Aquí tienes el pastel hecho con la receta B".
• "Aquí tienes el pastel hecho con la receta C".

Si la mayoría de los pasteles saben igual, ¡genial! La conclusión es sólida. Pero si los pasteles saben totalmente distinto (uno es dulce, otro salado), entonces sabemos que la receta es inestable y que la conclusión no es segura.

El Mensaje Final

La ciencia del futuro, ayudada por la IA, debe ser transparente. No basta con publicar el resultado final ("El chocolate gana"). Deberíamos publicar:

1. El código (la receta exacta).
2. Los prompts (las instrucciones exactas que le dimos a la IA, incluida su "personalidad").
3. El "Multiverso": Mostrar cómo cambian los resultados si cambiamos ligeramente las decisiones.

En resumen: La IA puede generar miles de opiniones científicas baratas y rápidas. El desafío ahora es no elegir solo la que nos gusta, sino entender que la "verdad" a menudo es un rango de posibilidades, no un solo punto fijo.

Resumen técnico

Resumen Técnico: Muchos Analistas de IA, Un Solo Conjunto de Datos

1. El Problema: La Incertidumbre Analítica y el "Jardín de los Caminos que se Dividen"

La conclusión empírica en la ciencia no depende únicamente de los datos, sino de las decisiones analíticas tomadas a lo largo del proceso de investigación. Estudios previos de "muchos analistas" (humanos) han demostrado que equipos independientes, analizando el mismo conjunto de datos para probar la misma hipótesis, llegan frecuentemente a conclusiones contradictorias. Esto se debe a la acumulación de decisiones analíticas razonables pero diversas (el "jardín de los caminos que se dividen" o garden of forking paths), lo que genera incertidumbre latente y fallos de replicabilidad.

El problema actual es que estos estudios humanos son extremadamente costosos, requieren meses de coordinación y rara vez se realizan de forma rutinaria. Además, con el auge de la Inteligencia Artificial, existe el riesgo de que la generación de análisis "defendibles" sea tan barata y abundante que facilite el reporte selectivo (cherry-picking) de resultados favorables, comprometiendo la integridad científica.

2. Metodología: Un Marco de Analistas y Auditores Autónomos

Los autores proponen un marco escalable y automatizado para replicar y estudiar la diversidad analítica utilizando Agentes de IA basados en Modelos de Lenguaje Grande (LLM).

• Diseño Experimental:

  • Tareas: Se utilizaron tres conjuntos de datos de dominios distintos:
    1. Soccer: Datos sobre tarjetas rojas y tono de piel (basado en Silberzahn et al., 2018).
    2. metr-rct: Un ensayo controlado aleatorizado sobre programación asistida por IA.
    3. anes-views: Datos de encuestas sobre ideología y consumo de noticias (ANES).
  • Agentes Analistas: Se desplegaron aproximadamente 5,000 ejecuciones autónomas. Cada agente recibió un conjunto de datos, una hipótesis y un estimando pre-especificado. Los agentes tenían autonomía total para elegir: limpieza de datos, selección de variables, especificación del modelo, manejo de valores faltantes y método de inferencia.
  • Variación de Condiciones: Se probaron 4 LLMs diferentes (Claude Sonnet 4.5, Claude Haiku 4.5, Qwen3 Coder 480B, Qwen3 235B) y 5 "personas" de analistas manipuladas mediante prompts:
    1. Estándar: Neutral.
    2. Negativa: Escéptica de la hipótesis.
    3. Positiva: Creyente en la hipótesis.
    4. Búsqueda de Confirmación (CS): Busca activamente especificaciones que apoyen la hipótesis.
    5. Búsqueda Fuerte de Confirmación (Strong CS): Exploración agresiva estilo p-hacking (dentro de límites metodológicos).
  • Auditoría Automatizada: Un LLM separado (Claude Sonnet 4.5) actuó como auditor, revisando la transcripción completa de cada ejecución (código, logs, salidas intermedias) para validar la coherencia metodológica. Se filtraron los análisis con errores graves (alucinaciones, estimandos incorrectos, falta de cuantificación de incertidumbre).

• Extracción de Decisiones: Se extrajeron decisiones estructuradas de cada ejecución (transformación de variables, covariables, método de error estándar) para construir curvas de especificación y trazar la "multiverso" de resultados.

3. Contribuciones Clave

1. Escalabilidad Automatizada: Demostración de que los agentes de IA pueden replicar la dispersión de resultados observada en estudios humanos de muchos analistas, pero a una escala masiva y con un coste mínimo.
2. Causalidad en la Variabilidad: A diferencia de los estudios humanos observacionales, este marco permite experimentos controlados. Al mantener fijos los datos y variar solo la "persona" o el modelo base, los autores aíslan el efecto causal de estas variables en las conclusiones.
3. Detección de Sesgo por "Persona": Identificación de que las instrucciones de prompting (especialmente las que fomentan la búsqueda de confirmación) pueden desplazar sistemáticamente la distribución de resultados, incluso entre análisis metodológicamente válidos.
4. Nueva Norma de Transparencia: Propuesta de que los análisis generados por IA deben ir acompañados de informes estilo "multiverso" y la divulgación completa de los prompts utilizados, equiparándolos en importancia al código y los datos.

4. Resultados Principales

• Dispersión Masiva: A pesar de tener los mismos datos y objetivos, los analistas de IA produjeron una amplia dispersión en tamaños de efecto, valores p y conclusiones binarias (apoyado/no apoyado). En muchos casos, ejecuciones válidas llegaron a conclusiones opuestas sobre la misma hipótesis.
• Efecto de la Persona: La "personalidad" del analista (definida por el prompt) tuvo un impacto significativo.
  • La diferencia en las tasas de apoyo a la hipótesis entre la persona más escéptica y la de "Búsqueda Fuerte de Confirmación" osciló entre 34 y 66 puntos porcentuales a través de los conjuntos de datos.
  • Las personas de búsqueda de confirmación (CS y Strong CS) realizaron búsquedas de especificaciones más agresivas y reportaron valores p sistemáticamente más bajos.
• Efecto del Modelo: La elección del LLM base también introdujo variabilidad, aunque en menor medida que la manipulación de la persona en algunos casos.
• Filtrado de Auditoría: El auditor automático eliminó aproximadamente el 33% de las ejecuciones (principalmente por alucinaciones o falta de rigor), pero no eliminó la dispersión. Incluso entre los análisis "cumplidores" (compliant), la variabilidad y el sesgo inducido por la persona persistieron.
• Validación de Especificaciones: En una prueba de estrés, al proporcionar a los agentes la especificación documentada de un equipo humano real, los resultados de la IA se agruparon alrededor de la estimación humana original, sugiriendo que para especificaciones bien definidas, la incertidumbre residual es manejable.

5. Significado e Implicaciones

El artículo plantea un desafío dual para la ciencia empírica asistida por IA:

1. Vulnerabilidad: Cuando los análisis defendibles son baratos y fáciles de generar, la evidencia se vuelve abundante pero vulnerable al reporte selectivo. Un investigador podría iterar con diferentes prompts o modelos hasta encontrar el resultado deseado, creando un "multiverso" oculto de resultados no reportados.
2. Oportunidad: La misma capacidad que crea el riesgo puede ser la solución. Al tratar los resultados de la IA como una distribución en lugar de un punto único, la incertidumbre analítica se vuelve visible y medible.
   • Esto permite realizar "pruebas de estrés" computacionales a publicaciones existentes para ver cuánto depende el resultado de decisiones implícitas no documentadas.
   • Fomenta una nueva norma de transparencia: la divulgación de los prompts y la presentación de curvas de especificación deben ser estándar en la ciencia automatizada.

Conclusión: El estudio demuestra que la variabilidad analítica no es un error, sino una característica inherente del proceso científico que ahora puede ser cuantificada sistemáticamente mediante IA. La ciencia del futuro debe adoptar el "multiverso" no como un obstáculo, sino como una herramienta para visualizar y gestionar la incertidumbre metodológica.