Nonstandard Errors in AI Agents

El estudio demuestra que los agentes de IA autónomos generan errores no estándar significativos debido a variaciones en sus elecciones analíticas, las cuales solo pueden reducirse drásticamente mediante la exposición a ejemplos de referencia, aunque esto implica una convergencia basada en la imitación más que en la comprensión real.

Lo esencial

Imagina que tienes un misterio financiero por resolver: ¿Cómo ha cambiado la calidad del mercado de valores en los últimos 10 años?

Para averiguarlo, no contrataste a un equipo de 150 economistas humanos, sino que lanzaste a 150 robots investigadores (agentes de IA) a la misma pista de datos. Todos tenían las mismas instrucciones, los mismos datos y la misma pregunta.

La gran pregunta era: ¿Todos los robots llegarían a la misma conclusión?

La respuesta, según este estudio, es un rotundo NO. Y eso es lo que los autores llaman "Errores No Estándar". Aquí te explico qué pasó, usando analogías sencillas:

1. El Jardín de los Caminos que se Dividen

Imagina que a cada robot se le da un mapa para llegar a un tesoro (la respuesta correcta). Pero el mapa tiene un problema: hay un cruce donde no dice si debes tomar el camino de la "Izquierda" o el de la "Derecha".

• El problema: Los robots se dividieron en dos grupos. Un grupo tomó el camino de la "Izquierda" (por ejemplo, midiendo el volumen de dinero) y el otro tomó el de la "Derecha" (midiendo el número de acciones).
• El resultado: ¡Ambos caminos son válidos! Pero llevan a destinos totalmente diferentes. Un grupo dijo que el mercado mejoró un 6%, y el otro dijo que empeoró un 5%.
• La lección: La confusión no vino de que los robots fueran "tontos", sino de que la pregunta original era un poco vaga. La IA, al igual que los humanos, tiene que elegir cómo medir las cosas, y esa elección cambia todo.

2. Los Robots tienen "Estilos" (como los humanos)

El estudio usó dos tipos de robots: los Sonnet y los Opus.

• Los Sonnet eran como los "tradicionales": les gustaba usar reglas antiguas y medir las cosas de forma directa.
• Los Opus eran como los "modernos": preferían usar fórmulas más complejas y logarítmicas.

Curiosamente, si un robot era Sonnet, casi siempre elegía el camino A. Si era Opus, casi siempre elegía el camino B. No era un error aleatorio; era un estilo de trabajo que venía "preinstalado" en su cerebro digital. Es como si un arquitecto siempre usara ladrillos y otro siempre usara madera; ambos pueden construir una casa, pero se verán muy diferentes.

3. La Crítica entre Pares (El "Feedback") no sirvió de mucho

En la fase 2, los robots leyeron los trabajos de sus compañeros y recibieron críticas escritas por otros robots.

• Lo que esperábamos: Que los robots pensaran: "Oh, mi compañero tiene razón, voy a corregir mi error".
• Lo que pasó: Los robots hicieron cambios, pero fueron al azar. Unos cambiaron de camino, otros no. Al final, la confusión (la dispersión de resultados) siguió igual.
• La analogía: Es como si le dieras a 100 personas una receta de cocina confusa y luego les pidieras que se critiquen entre sí. Cada uno cambiará algo diferente (uno pondrá más sal, otro quitará el horno), pero nadie llegará a la misma receta perfecta.

4. Ver a los "Mejores" (Los Ejemplos) sí funcionó (pero con trampa)

En la fase 3, mostraron a los robots los 5 mejores trabajos que habían hecho sus compañeros.

• El efecto: ¡Milagro! Los robots se alinearon rápidamente. Si los 5 mejores trabajos usaban el camino de la "Izquierda", el 99% de los demás robots corrieron a tomar ese mismo camino.
• El problema: No es que hubieran descubierto la verdad. Es que imitaron a los líderes.
• La analogía: Es como una fiesta donde todos empiezan a bailar igual porque vieron que los 5 más populares lo estaban haciendo. Si los 5 populares hubieran bailado mal, todos habrían bailado mal juntos. La IA no razonó si el camino era el correcto; simplemente copió lo que vio en la "lista de éxitos".

¿Por qué es importante esto?

Este estudio nos da una advertencia muy clara para el futuro:

1. No confíes en un solo robot: Si pides a una IA que analice un problema económico, no te fíes de su primera respuesta. Podría haber elegido un "camino" arbitrario.
2. La IA refleja nuestra incertidumbre: Los robots no inventaron la confusión; la aprendieron de nosotros. Como los humanos no estamos de acuerdo en cómo medir las cosas (dinero vs. acciones, autocorrelación vs. varianza), los robots tampoco lo están.
3. La solución es el "Multiverso": En lugar de pedirle a un robot que te dé una respuesta, deberías pedirle que te dé todas las respuestas posibles (probando diferentes caminos) para ver el rango de lo que podría ser verdad.

En resumen: La IA es una herramienta increíblemente potente, pero no es un oráculo infalible. Si le das una pregunta ambigua, te dará una respuesta ambigua. Y si le muestras ejemplos, la imitará ciegamente. Para usarla bien, debemos ser muy claros en lo que preguntamos y siempre verificar que no nos estemos guiando solo por la "moda" de los resultados.

Resumen técnico

Resumen Técnico: Errores No Estándar en Agentes de IA

1. Planteamiento del Problema

El artículo aborda una pregunta fundamental en la era de la investigación automatizada: ¿Si se asigna a diferentes agentes de IA autónomos la misma tarea de investigación, los mismos datos y la misma pregunta, producirán los mismos resultados empíricos?

Aunque la literatura existente (como los estudios de Silberzahn et al. y Menkveld et al.) ha documentado extensamente los "errores no estándar" (NSE) en investigadores humanos —variación en los resultados debido a la libertad de elección metodológica ("grados de libertad del investigador")—, no se sabía si los agentes de IA, al carecer de sesgos idiosincrásicos humanos, presiones institucionales o fatiga, convergerían hacia una única "mejor" solución o si reproducirían una variación similar.

El estudio investiga si la variabilidad en las elecciones analíticas (elección de medidas, especificaciones funcionales, etc.) persiste cuando se elimina al ser humano del proceso de generación de evidencia.

2. Metodología Experimental

Los autores replican el diseño experimental del estudio #fincap de Menkveld et al. (2024), pero reemplazando a los equipos humanos con agentes de IA autónomos.

• Agentes: Se desplegaron 150 agentes autónomos de Claude Code (100 usando el modelo Sonnet 4.6 y 50 usando Opus 4.6).
• Datos: Se utilizó el conjunto de datos NYSE TAQ (Trade and Quote) de milisegundos para el ETF SPY (SPDR S&P 500) desde 2015 hasta 2024 (aprox. 66 GB, 7 mil millones de filas).
• Tareas: Cada agente debía probar seis hipótesis sobre las tendencias de calidad del mercado (eficiencia del mercado, spreads, volumen, volatilidad, impacto de precios).
  • Hipótesis abstractas: H1 (eficiencia), H4 (volumen), H6 (impacto de precios) dejaban la operacionalización específica a criterio del agente.
  • Hipótesis específicas: H2 (spread cotizado), H3 (spread realizado), H5 (volatilidad) tenían definiciones más estrictas.
• Protocolo de Retroalimentación de Tres Etapas:
  1. Etapa 1 (Análisis Independiente): Los agentes generan informes y estimaciones sin intervención.
  2. Etapa 2 (Revisión por Pares de IA): Los agentes reciben críticas escritas de evaluadores de IA y revisan sus informes.
  3. Etapa 3 (Exposición a Ejemplos): Los agentes ven los 5 mejores informes de la Etapa 2 y realizan una revisión final.
• Aislamiento: Los agentes operaban en contenedores aislados (Singularity) para evitar que se "contaminaran" viendo los resultados de otros, asegurando que la variación surgiera solo de la estocasticidad del modelo y las elecciones metodológicas.

3. Contribuciones Clave

El estudio aporta tres contribuciones principales a la literatura:

1. Extensión del marco NSE a la IA: Demuestra que los errores no estándar existen y son significativos incluso en agentes de IA, indicando que la variabilidad es inherente a la ambigüedad de la tarea de investigación y no solo a factores humanos.
2. Análisis de "Estilos Empíricos" de Modelos: Identifica que diferentes familias de modelos (Sonnet vs. Opus) tienen preferencias metodológicas sistemáticas y estables (ej. Opus prefiere siempre ratios de varianza, Sonnet prefiere autocorrelación).
3. Evaluación de Mecanismos de Convergencia: Compara la eficacia de la revisión por pares frente a la imitación de ejemplos destacados, revelando dinámicas de convergencia y divergencia no observadas en estudios humanos previos.

4. Resultados Principales

A. Existencia y Magnitud de los Errores No Estándar (NSE)

• Los agentes produjeron variaciones sustanciales en las estimaciones. Por ejemplo, para la hipótesis de volumen (H4), el rango intercuartílico (IQR) fue de 10.69%/año.
• La variación no fue ruido aleatorio, sino estructurada:
  • Elección de Medidas (Forks): La mayor parte de la dispersión provino de la elección de qué medir (ej. volumen en dólares vs. volumen en acciones; autocorrelación vs. ratio de varianza).
  • Convergencia Intra-familia: Una vez que los agentes elegían la misma familia de medidas, la variación interna era mínima (IQR < 0.25%/año).
• Paradoja de la Especificación: En hipótesis abstractas (H1, H4, H6), la ambigüedad de la instrucción generó bifurcaciones masivas. En hipótesis específicas (H2, H5), la variación fue casi nula.

B. Estilos Empíricos por Modelo

• Sonnet 4.6: Prefirió fuertemente medidas de autocorrelación (87%) y regresiones OLS de nivel (level).
• Opus 4.6: Prefirió universalmente ratios de varianza (100%) y regresiones OLS logarítmicas.
• Estas preferencias son estables y sistemáticas, sugiriendo que los modelos de lenguaje tienen "sesgos metodológicos" incrustados en su entrenamiento.

C. Efectos de la Retroalimentación

• Revisión por Pares (Etapa 2): Ineficaz. La exposición a críticas escritas no redujo la dispersión (el IQR permaneció casi igual). Los agentes realizaron cambios idiosincrásicos y no dirigidos, a veces cambiando de medida completamente sin una justificación analítica clara.
• Exposición a Ejemplos (Etapa 3): Muy efectiva pero con riesgos.
  • Convergencia: En familias de medidas convergentes, el IQR se redujo entre un 80% y un 99%. Los agentes migraron masivamente hacia las medidas utilizadas en los "papeles top" (ej. 71% de los agentes que usaban autocorrelación cambiaron a ratio de varianza).
  • Divergencia: En casos donde los ejemplos top presentaban opciones contradictorias (ej. H1), la dispersión aumentó porque los agentes adoptaron nuevas bifurcaciones inconsistentemente.
  • Imitación Ciega: Los agentes a menudo cambiaron de medida simplemente para imitar a los ejemplos, incluso cuando el cambio no estaba justificado económicamente (ej. cambiar de volumen en dólares a acciones sin razón analítica).

D. Diferencias con la Investigación Humana

• Paradigma de Estimación: A diferencia de los humanos (que usan frecuentemente cambios relativos), los agentes de IA mostraron una uniformidad casi total en el uso de regresiones lineales con tendencia temporal (56% nivel, 44% log).
• Fuentes de Variación: Mientras los humanos varían en paradigmas de estimación (ej. cambios relativos vs. niveles), los agentes de IA concentran su variación casi exclusivamente en la elección de la medida.

5. Significado e Implicaciones

1. Límite Inferior del Error Humano: El NSE de la IA puede considerarse un límite inferior para el error no estándar humano. Si los agentes (que comparten entrenamiento y arquitectura) no pueden resolver la ambigüedad de una pregunta de investigación, es probable que los humanos tampoco lo hagan. Esto sugiere que la variación observada es inherente a la definición del problema, no solo a la incompetencia del investigador.
2. Riesgo en la Evaluación de Políticas Automatizada: Proyectos que utilizan IA para generar informes de política o investigación económica no deben confiar en una sola ejecución. La elección de una medida específica (ej. volumen en dólares) puede invertir la conclusión de una política.
3. La Revisión por Pares de IA es Insuficiente: La crítica escrita no corrige los sesgos metodológicos de los agentes. La "calibración por ejemplos" es más potente, pero puede llevar a una homogeneización prematura o a la adopción de errores si los ejemplos de referencia son sesgados.
4. Necesidad de Análisis Multiverso: Se recomienda encarecidamente el uso de análisis multiverso (ejecutar múltiples configuraciones de agentes y medidas) como práctica estándar. La variación entre ejecuciones de IA no es un fallo, sino una herramienta diagnóstica que revela la incertidumbre inherente en el diseño de la investigación.
5. Interpretación de la Variabilidad: La variabilidad de la IA no debe verse como un error a eliminar, sino como una reflexión fiel de la incertidumbre metodológica presente en la literatura científica. Eliminar esta variabilidad mediante alineación (RLHF) podría crear una falsa sensación de consenso científico.

Conclusión:
El estudio demuestra que los agentes de IA de vanguardia, al igual que los humanos, producen resultados divergentes ante tareas empíricas ambiguas. La variación es estructurada, dependiente del modelo y sensible a la exposición a ejemplos. Para que la investigación automatizada sea creíble, debe adoptar la transparencia de especificación y el análisis multiverso como normas fundamentales.