Preregistration for Experiments with AI Agents

Resumen Técnico: Prerregistro para Experimentos con Agentes de IA

Planteamiento del Problema
El artículo identifica una brecha metodológica crítica en el paradigma emergente de los experimentos conductuales "in silico", donde los Modelos de Lenguaje de Gran Escala (LLM) y los agentes de IA autónomos sirven como participantes en estudios de cognición, toma de decisiones y dinámica social. Si bien estos experimentos ofrecen una escalabilidad y una eficiencia de costos sin precedentes en comparación con la investigación con sujetos humanos, heredan y amplifican los "grados de libertad del investigador" que impulsaron la crisis de replicación en las ciencias sociales.

En la investigación humana tradicional, los altos costos marginales (reclutamiento, compensación, tiempo) imponen una fricción natural contra la exploración exhaustiva de las especificaciones experimentales. En contraste, los experimentos de IA poseen un perfil de riesgo único: una alta flexibilidad de especificación combinada con un costo marginal cercano a cero. Los investigadores pueden iterar rápidamente a través de un vasto espacio combinatorio de configuraciones —variando familias de modelos, redacción de prompts, parámetros de decodificación (temperatura, top-p), semillas, políticas de reintento y reglas de análisis— . Esto crea un "jardín de caminos bifurcados" donde los investigadores, de manera intencionada o inadvertida, pueden recorrer miles de especificaciones defendibles hasta que emerge un resultado deseado. Debido a que estas iteraciones a menudo no dejan un rastro visible en las publicaciones finales, el campo corre el riesgo de acumular literatura donde los hallazgos reflejan procesos de optimización no divulgados en lugar de fenómenos robustos.

Metodología y Taxonomía
El artículo no presenta nuevos datos experimentales, sino que construye una taxonomía sistemática de los grados de libertad del investigador específicos para los experimentos con agentes de IA. Los autores mapean estas vulnerabilidades sobre la dinámica de "p-hacking" identificada en la investigación con sujetos humanos, categorizándolas a lo largo de todo el flujo de trabajo experimental:

1. Selección de Modelo: Elegir entre docenas de modelos con capacidades y ajustes de alineación variables.
2. Ingeniería de Prompts: Refinamiento iterativo de mensajes de sistema, instrucciones de usuario y ejemplos de pocos disparos (few-shot), donde cambios menores en la redacción actúan como manipulaciones de tratamiento de alta dimensionalidad.
3. Muestreo y Decodificación: Ajuste de parámetros estocásticos (temperatura, top-p) y semillas que alteran el contenido de la respuesta y los comportamientos de rechazo.
4. Presupuesto de Inferencia: Variación de límites de tokens, conteos de turnos y llamadas a herramientas, lo que puede cambiar fundamentalmente las estrategias de los agentes.
5. Procesamiento de Respuestas: Decisiones sobre cómo manejar rechazos, salidas malformadas o valores atípicos (por ejemplo, exclusión, imputación o reintento).
6. Operacionalización de Resultados: Selección de métricas específicas o prompts de evaluación (incluyendo jueces basados en LLM) post-hoc.

Para ilustrar la magnitud de este problema, los autores hacen referencia a una simulación (detallada en el Apéndice del artículo) que examina los efectos de anclaje a través de 2,430 especificaciones. La simulación demostró que, al seleccionar diferentes caminos a través del espacio de especificación, un investigador podría concluir que los LLM exhiben un fuerte anclaje similar al humano, ningún anclaje, o incluso un anclaje inverso. Esto resalta la "ilusión de robustez", donde un hallazgo parece generalizable simplemente porque el investigador navegó por el multiverso de especificaciones para encontrar un camino de apoyo.

Contribuciones Clave
La contribución principal del artículo es la propuesta de extender el prerregistro —una práctica central para mejorar la credibilidad en la investigación con sujetos humanos— a los experimentos con agentes de IA. Los autores introducen una plantilla de preregistro diseñada para restringir la flexibilidad preservando la libertad exploratoria necesaria. Los componentes clave de esta plantilla incluyen:

• Especificación del Entorno Computacional: Exigir identificadores exactos de modelos (incluyendo versiones de puntos de control/checkpoints), parámetros de generación, presupuestos de inferencia y fechas de acceso a la API para asegurar la reproducibilidad.
• Transparencia de Prompts: Mandatar la divulgación textual íntegra de todo el texto del prompt (mensajes de sistema y de usuario) en lugar de resúmenes, ya que cambios sutiles en el formato impactan significamente el comportamiento.
• Divulgación de Pruebas Piloto: Requerir que los investigadores documenten el historial de iteraciones de prompts, los modelos probados durante el desarrollo y si los resultados preliminares influyeron en las hipótesis finales. Esto aborda la invisibilidad de la búsqueda de especificaciones.
• Distinción entre Confirmatorio y Exploratorio: Etiquetar explícitamente los análisis como de prueba de hipótesis (confirmatorios) o de generación de hipótesis (exploratorios). Para estudios confirmatorios, la plantilla requiere la pre-especificación de resultados primarios, pruebas estadísticas y reglas de decisión.
• Protocolos de Robustez y Generalización: Si los investigadores pretenden probar la robustez a través de modelos o variantes de prompts, deben definir el espacio completo de especificaciones y las reglas de agregación de antemano, reportando los resultados de todo el espacio en lugar de seleccionar un subconjunto.
• Diseños Escalonados: Acomodar diseños adaptativos (por ejemplo, usar datos piloto para calibrar la dificultad) mediante el requerimiento de reglas de decisión pre-especificadas para las etapas subsecuentes.
• Compromisos de Transparencia: Mandatar el intercambio de las salidas brutas del modelo, los datos procesados y el código de análisis, junto con una atestación de que la recolección de datos aún no ha comenzado.

Resultados y Afirmaciones
El artículo no reporta resultados empíricos de un nuevo estudio, sino que sintetiza evidencia de las ciencias sociales y la literatura de aprendizaje automático para argumentar a favor de un cambio en las normas. Los autores afirman que:

1. El Riesgo es Sistémico: La combinación de alta flexibilidad y bajo costo en los experimentos de IA crea incentivos para la búsqueda de especificaciones que son más severos que en la investigación con sujetos humanos.
2. Las Normas Actuales son Insuficientes: A diferencia del benchmarking tradicional de ML, que depende de conjuntos de prueba fijos, los experimentos conductuales con agentes de IA a menudo carecen de salvaguardas análogas, lo que conduce a una literatura donde los hallazgos reportados pueden ser artefactos de una optimización no divulgada.
3. El Prerregistro es la Solución: Al requerir el compromiso previo de hipótesis, métodos y planes de análisis, el preregistro puede restringir el "jardín de caminos bifurcados", distinguiendo entre pruebas confirmatorias y búsquedas exploratorias.
4. Factibilidad: La plantilla propuesta equilibra el rigor con la practicidad, permitiendo el trabajo exploratorio siempre que esté claramente etiquetado y separado de las afirmaciones confirmatorias.

Significancia
El artículo sostiene que la comunidad de aprendizaje automático tiene una oportunidad única de "construir credibilidad en este paradigma de investigación desde el principio", en lugar de intentar implementar salvaguardas a posteriori, como hicieron las ciencias sociales. Al institucionalizar el preregistro, el campo puede asegurar que los hallazgos sobre el comportamiento de la IA —como sesgos, patrones de razonamiento y propiedades de alineación— sean robustos y confiables. Esto es particularmente crítico a medida que los agentes de IA asumen roles autónomos en dominios de alto riesgo (por ejemplo, negociación, gestión de infraestructura), donde comprender su comportamiento es una prioridad de investigación por derecho propio. Los autores hacen un llamado a conferencias, revistas y agencias de financiamiento para que conviertan el preregistro en una práctica estándar, transformando así el proceso de investigación de un viaje opaco a través de un multiverso de especificaciones en una ciencia legible y acumulativa.