Resumen Técnico: Mitigación del p-hacking basado en LLM mediante el Prerregistro para el Siguiente LLM

Planteamiento del Problema

Los Modelos de Lenguaje Grande (LLMs) se utilizan cada vez más para generar, clasificar y anotar datos que alimentan pruebas de hipótesis posteriores. Sin embargo, esta dependencia introduce una vulnerabilidad severa al p-hacking. A diferencia de la investigación tradicional, donde la recolección de datos es una fase distinta, la investigación basada en LLMs permite a los investigadores ajustar iterativamente los prompts, los parámetros de decodificación (por ejemplo, temperatura, top-p) y los formatos de salida hasta lograr la significancia estadística deseada. Debido a que los LLMs siempre están accesibles, los investigadores pueden inspeccionar y revisar los análisis repetidamente, fabricando efectivamente la significancia incluso cuando no existe un efecto real.

Este problema se ve exacerbado por el auza de los científicos de IA autónomos, que pueden llevar a cabo investigaciones de extremo a extremo y participar en el p-hacking sin dirección humana. El prerregistro tradicional, que compromete a los investigadores con hipótesis y planes de análisis antes de la recolección de datos, falla en este contexto porque los "datos" (las salidas de los LLMs) pueden generarse y manipularse inmediatamente después del compromiso. El desafío central es que las salvaguardas existentes no se transfieren a los LLMs, ya que la flexibilidad que hace que los LLMs sean potentes también los hace fácilmente manipulables.

Metodología: El Protocolo Propuesto

Los autores proponen un protocolo para mitigar el p-hacking explotando dos observaciones clave:

1. No transferibilidad: Un prompt o una configuración de decodificación que obliga a un LLM a producir una etiqueta deseada a menudo falla en hacerlo en un modelo diferente.
2. Compromiso Temporal: Los investigadores pueden comprometerse con un plan de análisis antes de que exista el modelo confirmatorio.

El protocolo consta de cuatro pasos:

1. Finalizar el Procedimiento: El investigador realiza experimentos piloto utilizando modelos actualmente disponibles para determinar los procedimientos experimentales, los criterios de evaluación y los planes de análisis.
2. Prerregistrar el Procedimiento: El investigador prerregistra los procedimientos finalizados y el plan de análisis.
3. Prerregistrar Modelos Elegibles: El investigador prerregistra un conjunto amplio de futuros modelos elegibles (por ejemplo, familias específicas de múltiples proveedores) y define criterios de inclusión/exclusión precisos (por ejemplo, precio por token, puntuaciones de benchmark) para determinar qué lanzamiento futuro califica.
4. Evaluar en el Siguiente Modelo Elegible: Una vez que se lanza el próximo LLM elegible, el investigador realiza el análisis confirmatorio utilizando el procedimiento prerregistrado en este nuevo modelo.

Crucialmente, el modelo confirmatorio no existe en el momento del compromiso, lo que evita que el investigador realice p-hacking contra él. El protocolo incluye una plantilla detallada para el prerregistro (por ejemplo, en AsPredicted) que especifica prompts, parámetros de decodificación, reglas de validez de la salida y la lógica de selección para el modelo confirmatorio.

Diseño de la Evaluación

Los autores evaluaron el protocolo utilizando dos tareas donde el efecto real es conocido por ser nulo (por construcción), lo que permite identificar el p-hacking exitoso:

• Clasificación de Reseñas: Estimar la proporción de texto generado por IA en un corpus de reseñas por pares de 2020 (prevalencia real: 0%).
• Comparación Dietética: Estimar si el segundo de dos registros de alimentos consecutivos tiene menos calorías que el primero (tasa real: 50%).

Configuración Experimental:

• Modelos: 20 modelos de cuatro proveedores (OpenAI, Anthropic, Google, xAI).
• Configuraciones: 11 configuraciones distintas que varían la estructura del prompt, el encuadre de la instrucción, el procesamiento por lotes (batching) y los parámetros de decodificación.
• Fases:
  • Retrospectiva: Se evaluaron 14 modelos lanzados antes de la fecha de prerregistro (25 de marzo de 2026).
  • Prerregistro: Los autores prerregistraron el protocolo completo, los conjuntos de datos y las 11 configuraciones.
  • Prospectiva: Se evaluó el primer modelo elegible lanzado después del prerregistro (Grok 4.20) y cinco modelos subsiguientes.

Métricas:

• Tasa de Mitigación: La fracción de casos donde una configuración logra realizar p-hacking en un modelo pero falla en realizar p-hacking en el siguiente modelo lanzado bajo la misma configuración.
• Poder de Detección: La capacidad del protocolo para detectar efectos reales (probado inyectando tamaños de efecto conocidos en la tarea dietética) en comparación con una línea base de volver a medir con el mismo modelo.

Resultados Clave

• Efectividad de la Mitigación:
  • En la tarea de Clasificación de Reseñas, el protocolo habría bloqueado la transferencia de p-hacking en el 73.9% de los casos (17 de 23 hacks exitosos).
  • En la tarea de Comparación Dietética, el protocolo bloqueó la transferencia en el 72.7% de los casos (32 de 44 hacks exitosos).
  • En el propio experimento prospectivo de los autores, 6 de las 7 configuraciones que hackearon el modelo previo al prerregistro fallaron en hackear el primer modelo elegible posterior al prerregistro (85.7% de mitigación).
• Robustez ante la Estrategia:
  • Incluso cuando un adversario selecciona estratégicamente la configuración para el prerregistro (por ejemplo, eligiendo la configuración con la tasa de etiqueta objetivo más alta en el modelo actual o la que más frecuentemente ha sido hackeada en el pasado), la tasa de mitigación se mantuvo por encima del 60%.
  • Restringir el conjunto elegible a un solo proveedor (por ejemplo, solo OpenAI o solo Anthropic) aún produjo una tasa de mitigación de al menos el 50%, aunque los resultados fueron heterogéneos debido a los tamaños de muestra más pequeños.
• Poder de Detección: El protocolo conserva la capacidad de detectar efectos genuinos. La tasa de detección de efectos reales utilizando el siguiente modelo fue comparable a volver a medir con el mismo modelo, lo que indica que no hay una pérdida significativa de poder estadístico.
• Costo de Tiempo: El tiempo de espera mediana para el lanzamiento del siguiente modelo elegible en el estudio fue de aproximadamente 10.3 días, con una media de 14.5 días.

Significancia y Reivindicaciones

El artículo afirma que el prerregistro para el siguiente LLM es un mecanismo viable y efectivo para salvaguardar la credibilidad de la investigación basada en LLM. Al comprometerse con un procedimiento y un conjunto de modelos futuros elegibles antes de que se lance el modelo confirmatorio, los investigadores eliminan la capacidad de buscar iterativamente configuraciones que produzcan los resultados deseados.

Las afirmaciones clave incluyen:

• Viabilidad: El protocolo es práctico, requiere solo una breve espera (mediana de ~10 días) y utiliza plataformas de prerregistro existentes.
• Generalizabilidad: El enfoque funciona a través de diferentes proveedores de modelos y es robusto incluso si los investigadores intentan manipular el sistema seleccionando configuraciones o proveedores específicos.
• Confianza: El protocolo desplaza la investigación basada en LLM de una búsqueda abierta sobre "caminos de bifurcación" (forking paths) hacia un compromiso transparente, proporcionando una señal verificable de que los resultados no fueron buscados.
• IA Autónoma: El protocolo es particularmente relevante para los científicos de IA autónomos, que pueden integrarse en marcos de investigación para comprometerse automáticamente con los procedimientos antes de que los modelos confirmatorios estén disponibles.

Los autores reconocen las limitaciones, señalando que el protocolo reduce pero no elimina el p-hacking, ya que algunas configuraciones sí se propagan entre modelos. Además, la evaluación se centró en tareas de clasificación binaria; se necesita trabajo futuro para evaluar la efectividad en la clasificación multiclase, la generación de texto libre y las salidas de tipo regresión. El artículo concluye que, si bien el enfoque requiere un modesto retraso, ofrece una alternativa demostrablemente confiable para la investigación que depende de datos generados por LLM.