🤖 AI

The Agentic Garden of Forking Paths

Este artículo demuestra que los agentes de IA pueden replicar las diversas y a menudo conflictivas elecciones analíticas realizadas por investigadores humanos en dominios de alto riesgo, resaltando el problema del reporte selectivo en el análisis científico y proponiendo el método "Agentic Bootstrap" para estimar el "valor-m" como un nuevo criterio para evaluar la credibilidad de las afirmaciones científicas basándose en su posición dentro del espacio de análisis plausibles.

Autores originales: Jiacheng Miao, Jonathan K Pritchard, James Zou

Publicado 2026-07-03

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jiacheng Miao, Jonathan K Pritchard, James Zou

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un detective intentando resolver un misterio usando una sola caja de pistas (los datos). En el pasado, si dos detectives miraban la misma caja, podrían haber llegado a historias ligeramente diferentes, pero usualmente estarían de acuerdo en los hechos principales.

Este artículo presenta un nuevo giro: agentes de IA actuando como detectives. Los investigadores descubrieron que si les das a dos agentes de IA la misma caja de pistas pero les pides que tengan "personalidades" diferentes (uno es un escéptico, otro es un creyente), no solo contarán historias ligeramente distintas, sino que contarán historias completamente opuestas, y ambas historias sonarán perfectamente lógicas y científicamente sólidas.

Aquí tienes un desglose de sus hallazgos utilizando analogías sencillas:

1. El "Jardín de los Senderos que se Bifurcan"

Imagina un bosque masivo con millones de senderos (el "Jardín de los Senderos que se Bifurcan"). Cada vez que un investigador analiza datos, tiene que elegir qué camino recorrer.

El problema antiguo: Los investigadores humanos a veces eligen inconscientemente el camino que conduce al resultado que desean encontrar. Esto se llama "grados de libertad del investigador".
El nuevo problema de la IA: Los agentes de IA pueden ahora recorrer este bosque increíblemente rápido. Pueden probar miles de caminos en minutos. El artículo muestra que si le dices a una IA: "Tú crees que la inmigración perjudica la economía", ella naturalmente vagará por los senderos que conducen a esa conclusión. Si le dices a otra IA: "Tú crees que la inmigración ayuda a la economía", ella vagará por los senderos opuestos.
La parte aterradora: Ambas IA están haciendo ciencia "buena". No están mintiendo ni rompiendo reglas. Simplemente están tomando caminos distintos y válidos a través del bosque para llegar a su destino.

2. El Experimento: El "Espejo Ideológico"

Los investigadores probaron esto en cuatro grandes preguntas:

¿Afecta la inmigración al apoyo al bienestar social?
¿Afecta el café a la salud?
¿Daña la red social a la salud mental de los adolescentes?
¿Afectan las bacterias intestinales al peso?

Les dieron a los agentes de IA diferentes "personajes" (como darles un sesgo político o científico específico) y les pidieron que analizaran los mismos datos.

El resultado: Los agentes de IA "pro-inmigración" encontraron consistentemente efectos positivos, mientras que los agentes "anti-inmigración" encontraron efectos negativos.
La comparación humana: En un famoso estudio del mundo real, 42 equipos humanos analizaron los mismos datos de inmigración y tuvieron una "brecha" en sus conclusiones. Los agentes de IA reprodujeron el 72% de esa brecha humana.
La velocidad: Un agente de IA podría realizar todo este análisis en unos 15 minutos por aproximadamente $1.68.

3. La Trampa del "Control de Calidad"

Podrías pensar: "Bueno, la IA sesgada debe estar haciendo mal los cálculos".

La sorpresa: Los investigadores hicieron que otras IA y expertos humanos (doctores en estadística) revisaran los informes.
El veredicto: El 86% de los informes de la IA pasaron la revisión. El 78% pasó la revisión de los expertos humanos.
La conclusión: Los agentes de IA llegaban a conclusiones opuestas utilizando métodos que los expertos consideraban libres de errores. El problema no era que las matemáticas estuvieran mal; el problema era que la IA (al igual que un humano) exploraba selectivamente el bosque para encontrar el camino que coincidiera con su "creencia".

4. Cómo lo hace la IA: Exploración vs. Selección

El artículo desglosa cómo la IA llega a la conclusión errónea (o correcta):

Exploración: La IA comienza a caminar. Si es un "creyente", naturalmente se desplaza hacia los caminos que parecen prometedores para su creencia. Si es un "escéptico", vaga hacia otros lugares.
Selección: Después de recorrer muchos caminos, la IA elige el que mejor se ajusta a su historia para incluirlo en el informe final.

Analogía: Imagina a un chef que quiere hacer un plato picante. Prueba 100 sopas diferentes. Naturalmente presta más atención a las que son picantes, las ajusta para que sean más picantes y, finalmente, sirve la más picante. Un chef "no picante" haría exactamente el mismo proceso, pero terminaría sirviendo una sopa insípida. Ambos chefs siguieron las reglas de la cocina perfectamente.

5. La Solución: El "valor-m" y el "Bootstrap Agéntico"

Dado que ya no podemos confiar en un solo informe (porque la IA podría haber elegido fácilmente un camino diferente), los autores proponen una nueva forma de juzgar la ciencia.

La forma antigua (valor-p): "¿Si repitiéramos este experimento 1,000 veces con la misma receta, con qué frecuencia obtendríamos este resultado?" (Esto comprueba la suerte en los datos).
La nueva forma (valor-m): "Si probáramos 1,000 recetas válidas diferentes con estos mismos datos, ¿con qué frecuencia obtendríamos este resultado?" (Esto comprueba la suerte en las elecciones realizadas).

El Bootstrap Agéntico es la herramienta que construyeron para hacer esto. Utiliza agentes de IA para simular miles de escenarios de "qué pasaría si" (diferentes caminos a través del bosque) y crea un mapa de todas las posibles conclusiones válidas.

Si el resultado de un investigador está en el centro del mapa, es robusto.
Si el resultado de un investigador está en el extremo del mapa (la "cola"), significa que probablemente eligió un camino muy específico solo para obtener ese resultado.

El hallazgo: Cuando aplicaron esto al estudio humano de inmigración, encontraron que el 13.5% de los informes humanos estaban en el 5% más extremo de los resultados posibles. Esto sugiere que muchos hallazgos humanos son "extremos" no porque los datos sean tan fuertes, sino porque los investigadores (o sus ayudantes de IA) eligieron selectivamente el camino que los llevara allí.

Resumen

El artículo sostiene que la IA hace que sea barato y fácil "seleccionar lo mejor" (cherry-picking) de las historias científicas más atractivas de un bosque de millones de opciones válidas. La solución no es dejar de usar la IA, sino usar la IA para mapear todo el bosque primero. Antes de confiar en una afirmación científica, debemos preguntar: "¿Es este resultado un camino típico a través del bosque, o alguien simplemente eligió el único camino que llevaba a la conclusión que quería?". El valor-m es la nueva regla utilizada para medir eso.

Resumen Técnico: El Jardín de Senderos que se Bifurcan de los Agentes

Planteamiento del Problema
La investigación empírica rara vez admite un único camino de análisis. Los investigadores enfrentan numerosos "grados de libertad" con respecto a la operacionalización de variables, la selección de muestras, el ajuste de covariables y la especificación de modelos. Cuando estas elecciones se ejercen para alcanzar resultados significativos o esperados —ya sea mediante un p-hacking deliberado o el inconsciente "jardín de senderos que se bifurcan"—, se inflan las tasas de falsos positivos. Las creencias previas suelen moldear qué caminos analíticos se exploran y qué resultados se reportan, lo que conduce a conclusiones divergentes a partir de un mismo conjunto de datos.

La llegada de los agentes de IA (específicamente los agentes de codificación de Modelos de Lenguaje de Gran Escala) amplifica este desafío. A diferencia de los analistas humanos, los agentes de IA pueden generar y evaluar rápidamente un vasto número de análisis plausibles a un bajo costo. Esto crea el riesgo de que el análisis asistido por IA facilite la búsqueda en un gran espacio de especificaciones metodológicamente defendibles y el reporte selectivo de una conclusión que respalde una afirmación preferida. Crucialmente, dicho reporte selectivo es difícil de detectar únicamente a partir de los informes finales, ya que el análisis seleccionado puede parecer estadísticamente válido y metodológicamente sólido de forma aislada.

Metodología
Los autores emplean agentes de IA como un sistema experimental para estudiar cómo las creencias previas sesgan el análisis de datos empíricos y para desarrollar métodos que cuantifiquen la incertidumbre resultante.

Experimentos de Agentes con Personas Predefinidas (Persona-Primed):
- Configuración: El estudio abarca cuatro dominios de alto impacto (ciencia política, salud pública, psicología y biología) utilizando conjuntos de datos del mundo real (ISSP, NHANES, YRBS, American Gut Project).
- Procedimiento: Para cada pregunta, se asignaron "personas" opuestas (por ejemplo, pro-inmigración vs. anti-inmigración, creyente vs. escéptico) a agentes de IA independientes mediante prompts de sistema. Estos prompts declaraban una creencia sustantiva pero instruían explícitamente a los agentes a "analizar rigurosamente" sin fabricar evidencia ni realizar p-hacking.
- Proceso: Cada agente realizó 10 rondas secuenciales de exploración, generando 10 modelos candidatos por ronda (100 en total). Los agentes mantuvieron el historial completo para refinar los análisis subsiguientes. Finalmente, cada agente seleccionó una especificación como su informe final.
- Revisión: Un revisor de IA independiente (y un subconjunto de expertos humanos con doctorado) evaluó los informes en busca de errores metodológicos mayores. Solo los análisis que pasaron esta revisión fueron incluidos en los resultados primarios.
Curva de Especificación Agéntica:
- Para mapear el paisaje de los análisis válidos, los autores agruparon todas las especificaciones candidatas generadas por las personas opuestas y neutrales a través de todas las rondas.
- Tras el control de calidad y la revisión metodológica independiente, se retuvieron miles de especificaciones (por ejemplo, 4,392 para la pregunta de inmigración).
- Estas se ordenaron por tamaño del efecto para visualizar la distribución de las conclusiones posibles de los mismos datos sin errores mayores.
Bootstrap Agéntico y el valor-m:
- Concepto: Los autores introducen el valor-m (valor multiverso) para abordar la "incertidumbre del espacio de análisis", distinta de la "incertidumbre de muestreo" (abordada por los valores p).
- Definición: El valor-m es la probabilidad de que un camino de análisis, extraído de una distribución de análisis metodológicamente defendibles ( $\Pi$ ), produzca un resultado al menos tan extremo como la afirmación reportada.
- Estimación: El Bootstrap Agéntico estima esta distribución utilizando agentes de IA instrumentados para muestrear, registrar y evaluar sistemáticamente caminos de análisis plausibles. El valor-m se calcula como la probabilidad de la cola de la afirmación reportada dentro de esta distribución empírica.

Resultados Clave

Replicación de Brechas Ideológicas Humanas: Los agentes de IA asignados con personas opuestas reprodujeron la brecha ideológica observada en investigadores humanos. Para la pregunta de inmigración y bienestar, las personas opuestas produjeron una brecha promedio de estimación de efecto de 0.020, lo que representa el 72% de la brecha observada entre 42 equipos de investigación humanos. Esta divergencia persistió incluso en datos de nulidad permutada, lo que indica que surgió de las elecciones analíticas y no de la señal de los datos.
Solidez Metodológica de Conclusiones Divergentes: A pesar de alcanzar conclusiones opuestas, el 86% de los informes de los agentes pasaron la revisión de IA independiente, y el 7 de cada 10 (78%) pasaron la revisión de una mayoría de expertos humanos. Esto confirma que la divergencia proviene de análisis metodológicamente sólidos, no de análisis defectuosos.
Mecanismos de Sesgo: El sesgo de la persona entró en dos etapas:
1. Exploración: Las personas opuestas exploraron progresivamente diferentes regiones del espacio de búsqueda analítica (por ejemplo, los agentes pro-inmigración favorecieron los flujos migratorios; los agentes anti-inmigración favorecieron los stocks/existencias).
2. Selección: Los agentes seleccionaron preferentemente informes finales alineados con sus creencias asignadas a partir del conjunto de especificaciones exploradas.
Predictibilidad de las Conclusiones: El signo de una conclusión reportada fue altamente predecible (AUC = 0.92) basándose únicamente en la combinación de elecciones analíticas (resultado, exposición, covariables, etc.), lo que demuestra que el reporte selectivo puede apuntar a conclusiones específicas.
Cuantificación del Reporte Selectivo (valor-m): Al aplicarse a los informes humanos del estudio de inmigración, el Bootstrap Agéntico reveló que los análisis humanos no eran extracciones típicas de la distribución más amplia de análisis defendibles.
- El 13.5% de los informes humanos se situaron en el 5% más extremo del espacio de análisis ( $m < 0.05$ ).
- Entre los hallazgos humanos estadísticamente significativos ( $p < 0.05$ ), el 40% tenía un $m < 0.05$ , una tasa 2.4 veces mayor de lo esperado bajo una selección aleatoria del espacio de análisis.
- El intervalo del 95% del Bootstrap Agéntico para la pregunta de inmigración fue 2.8 veces más ancho que el intervalo de confianza promedio del 95% de un solo análisis, lo que indica que la incertidumbre de la elección del análisis excede sustancialmente la incertidumbre de muestreo.

Significancia y Reivindicaciones
El artículo argumenta que el desafío central en la ciencia empírica no es necesariamente la producción de análisis defectuosos, sino la exploración y el reporte selectivo de un gran espacio de análisis metodológicamente defendibles. Los agentes de IA amplifican sustancialmente este riesgo al hacer que tal exploración sea económica y escalable.

Los autores sostienen que la evidencia científica debe evaluarse no solo por la validez de un único análisis reportado, sino también por su posición dentro de la distribución de los análisis que razonablemente podrían haber sido reportados. El valor-m y el Bootstrap Agéntico proporcionan un nuevo criterio para la credibilidad científica:

Hacen observable la "distribución oculta" de los análisis plausibles.
Permiten a los investigadores distinguir entre señales robustas (típicas del espacio de análisis) y hallazgos frágiles (valores atípicos extremos en el espacio de análisis).
Ofrecen una alternativa práctica y escalable a los estudios de muchos analistas humanos para auditar la robustez de las afirmaciones empíricas.

El trabajo sugiere que, a medida que el análisis empírico se vuelve más barato y escalable, la comunidad científica debe cambiar su enfoque de la validación de modelos aislados hacia el sometimiento a pruebas de estrés de todo el espacio de análisis, para asegurar que las conclusiones reportadas no sean meros artefactos de una selección de trayectoria selectiva.