🤖 AI

Principles and Guidelines for Randomized Controlled Trials in AI Evaluation

Este artículo establece un marco fundamental para estandarizar los ensayos controlados aleatorizados en la evaluación de la IA al adaptar el modelo de cuatro valididades de Shadish et al. y las Directrices TOP en cinco principios y 33 directrices operativas que priorizan el rendimiento humano, la inferencia causal y la transparencia para abordar los desafíos únicos en los estudios de interacción humano-IA.

Autores originales: Christopher Kelly, Angelica Chowdhury, Alexandra Campili, Bimpe Ayoola, Devin Barbour, Thomas Chen Dawson, Ze Shen Chin, Rokas Gipiškis

Publicado 2026-05-06

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Christopher Kelly, Angelica Chowdhury, Alexandra Campili, Bimpe Ayoola, Devin Barbour, Thomas Chen Dawson, Ze Shen Chin, Rokas Gipiškis

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de averiguar si una nueva, súper inteligente calculadora realmente ayuda a las personas a resolver problemas matemáticos mejor, o si simplemente les hace sentir que están haciendo un mejor trabajo.

Durante mucho tiempo, los científicos que prueban la inteligencia artificial han sido como chefs que prueban su propia sopa sin una receta. Podrían decir: "¡Esta sopa sabe genial!", pero no te han dicho qué ingredientes usaron, cuánto sal añadieron, o si la probaron mientras llevaban una venda en los ojos. A veces, la "sopa" (la IA) cambia de sabor a mitad de la degustación, o las personas que la prueban son todos chefs profesionales en lugar de comensales habituales.

Este artículo es un nuevo y estricto libro de recetas para probar la IA. Dice: "Dejen de adivinar. Ejecutemos un experimento científico adecuado para ver si la IA realmente ayuda a los humanos".

Aquí está la explicación sencilla de su "receta", usando algunas analogías cotidianas:

1. La Idea Central: La Prueba de "Mejora Humana"

La mayoría de las pruebas de IA actuales son como una prueba de choque de un automóvil donde solo chocan el auto contra una pared y ven cuánto se rompe el auto. Este artículo dice que necesitamos probar al conductor, no solo al auto.

La Vieja Forma: "¡Miren, la IA escribió este código!"
La Nueva Forma: "Damos la IA a la mitad de las personas y a la otra mitad no. ¿Las personas con la IA realmente escribieron mejor código, aprendieron más rápido o cometieron menos errores que las personas sin ella?"

2. Las Cinco Reglas del Juego (Los Principios)

Los autores tomaron prestadas reglas de la medicina y la psicología y añadieron una nueva para la IA. Piensa en estas como los cinco pilares que sostienen un puente. Si uno es débil, el puente (el estudio) colapsa.

Regla 1: ¿Estamos midiendo la cosa correcta? (Validez de Construcción)
- Analogía: Imagina que quieres probar si un nuevo zapato de correr te hace más rápido. Si mides "qué tan fuerte chirría el zapato", no estás midiendo la velocidad.
- El Punto del Artículo: No cuentes simplemente cuántas palabras ayudó la IA a alguien a escribir (eso es fácil de falsificar). Mide si la calidad del pensamiento realmente mejoró.
Regla 2: ¿La IA causó realmente el cambio? (Validez Interna)
- Analogía: Si le das a un grupo de personas una nueva vitamina y se ponen más sanos, ¿fue la vitamina? ¿O fue que también comenzaron a comer ensalada y a dormir más?
- El Punto del Artículo: Debes asegurarte de que la única diferencia entre los dos grupos sea la IA. Si el "grupo con IA" también recibió mejores instrucciones o una computadora más bonita, no puedes culpar a la IA por el éxito. Además, debes evitar que el grupo "sin IA" se esconda para echar un vistazo secretamente a la IA.
Regla 3: ¿Esto funciona para todos? (Validez Externa)
- Analogía: Si un medicamento funciona en hombres de 20 años en un laboratorio, ¿funciona en mujeres de 70 años en un hospital?
- El Punto del Artículo: No pruebes la IA solo en expertos informáticos o solo en estudiantes universitarios. Si lo haces, no puedes afirmar que funciona para todos. Necesitas decir claramente: "Esto funciona para estas personas, en esta situación".
Regla 4: ¿Son reales los números? (Validez de Conclusión Estadística)
- Analogía: Si lanzas una moneda 3 veces y sale cara cada vez, podrías pensar que la moneda es mágica. Pero si la lanzas 1.000 veces, probablemente sea solo suerte.
- El Punto del Artículo: No te emociones por mejoras diminutas que podrían ser solo suerte. Los autores dicen que debemos ser súper estrictos con nuestras matemáticas (usando un "valor p" más estricto de 0,005 en lugar del habitual 0,05) porque las afirmaciones sobre la IA son de alto riesgo. Necesitamos saber cuánto mejor hizo las cosas la IA, no solo si las hizo "mejor".
Regla 5: ¡Muestra tu trabajo! (Transparencia, Repetibilidad y Verificación)
- Analogía: Si un mago dice: "Hice aparecer un conejo", pero no te deja ver el sombrero ni el conejo, no le crees.
- El Punto del Artículo: La IA cambia rápido. Si no escribes exactamente qué versión de la IA usaste, qué indicaciones escribiste y compartes tus datos, nadie podrá revisar tu trabajo más tarde. El artículo crea una "escalera de confianza" de 4 niveles:
  1. Divulgación: "Te dijimos lo que hicimos".
  2. Compartir: "Te dimos los datos y el código".
  3. Verificación: "Una persona independiente verificó que el código realmente se ejecuta".
  4. Repetibilidad: "Otro equipo lo probó con nuevas personas y obtuvo el mismo resultado".

3. La Lista de Verificación de 33 Pasos

El artículo no solo da reglas; ofrece una lista de verificación de 33 pasos para los investigadores.

Ejemplo: "Antes de comenzar, escribe exactamente qué estás probando para que no puedas cambiar las reglas a mitad de camino".
Ejemplo: "Asegúrate de que las personas en el grupo 'sin IA' no estén usando IA secretamente en sus propios teléfonos".
Ejemplo: "Verifica si la IA hace el trabajo más rápido pero peor, o más lento pero mejor".

4. ¿Por qué necesitamos esto?

Ahora mismo, el mundo está lleno de estudios sobre IA que son confusos. Algunos dicen que la IA es increíble; otros dicen que es inútil. Los autores dicen que esto se debe a que todos están jugando con reglas diferentes.

El Problema: Si no podemos confiar en los estudios, podríamos desplegar IA peligrosa, o podríamos ignorar una IA útil.
La Solución: Este artículo es un "procedimiento operativo estándar". Es un plano para construir un puente de confianza. Ayuda a los investigadores a planificar sus estudios, ayuda a los revisores a verificar si un estudio es bueno y ayuda a los gobiernos a hacer leyes basadas en hechos reales, no en suposiciones.

Resumen

Piensa en este artículo como la FDA (Administración de Alimentos y Medicamentos) para los experimentos de IA. Así como no comerías un nuevo medicamento sin un ensayo clínico riguroso y doble ciego, no deberíamos confiar en afirmaciones sobre la IA ayudando a los humanos sin estas pruebas estrictas y estandarizadas. Se trata de pasar de "Creemos que la IA es genial" a "Tenemos pruebas de que la IA ayuda a estas personas a realizar esta tarea mejor".

Resumen Técnico: Principios y Directrices para Ensayos Controlados Aleatorizados en la Evaluación de IA

Declaración del Problema

La credibilidad de la investigación empírica en diversas disciplinas ha enfrentado un escrutinio sostenido debido a crisis de replicación, diseños de ensayos heterogéneos y una transparencia inadecuada. En el dominio específico de la evaluación de sistemas de IA avanzados, estos problemas se ven agravados por una ausencia casi total de mejores prácticas establecidas. Los ecosistemas de evaluación actuales dependen en gran medida de evaluaciones de referencia, tablas de clasificación y auditorías, las cuales no ofrecen garantías robustas sobre el rendimiento de la IA en diferentes dominios o grupos de usuarios.

Existe una brecha crítica en la metodología para evaluar el "mejoramiento humano" (human uplift)—el efecto causal del acceso a la IA en el rendimiento humano. La terminología es inconsistente; el "mejoramiento" a menudo se confunde con "efecto del tratamiento", "impacto incremental" o simple "evaluación de rendimiento", lo que conduce a definiciones contradictorias entre las principales organizaciones de IA (por ejemplo, RAND, Instituto de Seguridad de IA del Reino Unido, Anthropic, OpenAI). Además, los estándares de reporte existentes (como CONSORT-AI, SPIRIT-AI y STARE-HI) fueron diseñados para intervenciones clínicas o de software estáticas y no abordan los desafíos específicos de la IA, que incluyen:

Evolución rápida de los modelos: Las suposiciones de intervención estática no se sostienen para sistemas que experimentan actualizaciones frecuentes, cambios en los prompts o ajuste fino.
Contaminación y efectos de desbordamiento: En entornos multiusuario, los grupos de control pueden acceder a modelos no sancionados por el protocolo, violando las suposiciones de los Ensayos Controlados Aleatorizados (ECA).
Dinámicas de interacción humano-IA: Los marcos existentes carecen de orientación sobre la documentación de las instrucciones al usuario, los niveles de autonomía y la modificación de salidas.
Validez de constructo: Las métricas estándar (por ejemplo, velocidad, conteo de tokens) pueden no reflejar mejoras genuinas en la capacidad, como la calidad del razonamiento o la confianza.
Barreras para la reproducibilidad: Los modelos de código cerrado y los sistemas basados en API hacen que la transparencia tradicional (compartir pesos/datos) sea insuficiente; la reproducibilidad ahora depende de registros, prompts y metadatos.

Sin estándares claros, los responsables políticos y los órganos de gobernanza no pueden agregar hallazgos, y las decisiones técnicas sobre umbrales de implementación y seguridad dependen de estudios potencialmente subpotenciados o mal diseñados.

Metodología

Este trabajo establece un marco fundamental adaptando el marco de cuatro valididades de Shadish-Cook-Campbell (Shadish et al., 2002) y extendiéndolo con un quinto principio derivado de las Directrices de Transparencia y Promoción de la Apertura (TOP) (Centro para la Ciencia Abierta, 2025). Los autores operacionalizan estos cinco principios en 33 directrices concretas adaptadas específicamente para los ECA de evaluación de IA.

El marco define un ECA de evaluación de IA como un ensayo controlado aleatorizado que mide el efecto causal del acceso o uso de la IA en un resultado humano dado (por ejemplo, comportamiento, rendimiento, bienestar), distinto de las evaluaciones de referencia que evalúan las salidas del modelo frente a conjuntos de prueba fijos.

La metodología implica:

Adaptación de Principios de Validez: Extender la Validez de Constructo, Interna, Externa y de Conclusión Estadística para abordar amenazas específicas de la IA (por ejemplo, deriva de versiones de modelos, interferencia).
Integración de Transparencia: Desarrollar una jerarquía de cuatro niveles para Transparencia, Repetibilidad y Verificación (TRV) que escala la fuerza de las afirmaciones causales basándose en la verificabilidad.
Operacionalización: Traducir principios abstractos en requisitos accionables que cubren el diseño del estudio, el análisis, el reporte y el pre-registro.
Base de Evidencia: Basarse en estándares establecidos de ingeniería de software, economía, ciencias clínicas y psicología, abordando al mismo tiempo las brechas identificadas en entrevistas recientes con profesionales (Paskov et al., 2026).

Contribuciones Clave

1. Un Marco de Cinco Principios para ECA de IA

El artículo formaliza cinco principios centrales que sirven como herramientas interpretativas para determinar la validez de las afirmaciones:

Validez de Constructo: Asegura que las medidas de resultado capturen constructos subyacentes (por ejemplo, competencia en programación) en lugar de proxies estrechos (por ejemplo, velocidad) que la IA puede optimizar sin una mejora genuina de habilidades.
Validez Interna: Asegura que las diferencias observadas sean atribuibles a la intervención de IA, abordando amenazas como la contaminación del grupo de control, actualizaciones de modelos durante el estudio y cumplimiento diferencial.
Validez Externa: Define el alcance de la generalización en cuanto a población (por ejemplo, niveles de alfabetización en IA), tareas y entornos, advirtiendo explícitamente contra la sobre-generalización a partir de muestras WEIRD (Occidentales, Educadas, Industrializadas, Ricas, Democráticas) o tareas artificiales.
Validez de Conclusión Estadística: Aborda umbrales de evidencia, potencia y precisión. El marco recomienda $\alpha = 0.005$ para afirmaciones causales novedosas para reducir los falsos positivos, enfatiza la estimación del tamaño del efecto con intervalos de confianza y distingue entre análisis exploratorios y confirmatorios.
Transparencia, Repetibilidad y Verificación (TRV): Un marco graduado donde la fuerza de la afirmación causal escala con la verificabilidad. Distingue entre:
- Nivel 1 (Divulgación): Reportar qué se hizo.
- Nivel 2 (Compartir): Depositar datos/código/materiales.
- Nivel 3 (Verificación): Confirmación independiente de que los materiales son accesibles y el código se ejecuta.
- Nivel 4 (Repetibilidad): Reproducción independiente, comprobaciones de robustez y replicación con nuevos datos.

2. Treinta y Tres Directrices Operacionalizadas

Los autores proporcionan una lista de verificación exhaustiva (Apéndice A) que cubre todo el ciclo de vida de la investigación. Las directrices clave incluyen:

Diseño: Pre-registrar protocolos, definir el Criterio de Evaluación General (OEC) antes de la recolección de datos y utilizar aleatorización estratificada basada en la alfabetización en IA y la experiencia en el dominio.
Implementación: Monitorear el cumplimiento mediante seguimiento objetivo (registros de API, grabaciones de pantalla), garantizar la equivalencia de la interfaz de usuario entre tratamiento y control, y controlar el esfuerzo de los participantes.
Análisis: Utilizar el análisis por intención de tratar (ITT) como análisis principal, realizar análisis de sensibilidad para el cumplimiento y reportar métricas de heterogeneidad (por ejemplo, $\tau^2$ ).
Reporte: Utilizar un continuo de evidencia para los valores p (evitando el lenguaje binario "significativo/no significativo"), reportar daños y efectos no deseados, y distinguir entre significancia estadística, práctica y científica.

3. Abordaje de Desafíos Específicos de la IA

El marco introduce explícitamente mecanismos para manejar:

Control de Versiones de Modelos: "Fijar" (pinning) las versiones de los modelos y monitorear la deriva.
Efectos de Desbordamiento: Utilizar aleatorización por conglomerados o monitoreo para prevenir que el uso no sancionado de modelos contamine los grupos de control.
Heterogeneidad: Pre-especificar subgrupos (por ejemplo, por alfabetización en IA) y calcular la potencia para efectos de interacción, los cuales requieren tamaños de muestra significativamente mayores que los efectos principales.
Impacto Equitativo: Evaluar si la IA beneficia o perjudica a subpoblaciones específicas, en lugar de depender únicamente de los efectos promedio del tratamiento.

Resultados y Afirmaciones

El artículo no presenta nuevos datos empíricos ni resultados experimentales. En cambio, sus "resultados" son el marco y las directrices en sí mismos. Los autores afirman que este trabajo:

Estandariza el Campo: Proporciona una infraestructura compartida para planificar, revisar y establecer estándares para los ECA de evaluación de IA.
Formaliza la Inferencia Causal: Adapta la metodología de ECA a la naturaleza dinámica de la IA, avanzando más allá del simple benchmarking hacia la inferencia causal sobre el rendimiento humano.
Mitiga Amenazas a la Validez: Cataloga sistemáticamente las amenazas a la validez específicas de la IA (por ejemplo, "deriva de versiones de modelos", "confusión de constructos con asistencia de IA") y proporciona soluciones basadas en el diseño.
Eleva los Estándares de Evidencia: Propone umbrales estadísticos más estrictos ( $\alpha = 0.005$ ) y un marco de transparencia graduado para contrarrestar los riesgos de "falsos positivos" en un campo incipiente con altos grados de libertad del investigador.

Significado e Impacto Previsto

Los autores posicionan este marco como cumpliendo tres roles clave:

Herramienta de Diseño: Una lista de verificación pre-estudio para que los investigadores aseguren el rigor metodológico en la planificación de estudios de mejoramiento humano con IA.
Rúbrica de Evaluación: Un estándar de revisión para financiadores, revistas y órganos de gobernanza para evaluar la credibilidad del trabajo existente y comprender los límites inferenciales de los hallazgos reportados.
Plan Maestro para la Establecimiento de Normas: Una hoja de ruta para que el campo converja en normas, elevando potencialmente directrices específicas a requisitos obligatorios (por ejemplo, pre-registro obligatorio) a medida que el campo madura.

El artículo concluye que las prácticas de evaluación rigurosas, transparentes y repetibles son salvaguardas esenciales. Aseguran que el desarrollo de la IA proceda sobre evidencia creíble, que los beneficios se distribuyan equitativamente y que las afirmaciones sobre las capacidades de la IA se alineen con la realidad empírica. Los autores reconocen limitaciones, señalando que el marco se centra exclusivamente en diseños experimentales (excluyendo estudios observacionales) e impone demandas sustanciales de recursos. Solicitan trabajos futuros para validar el marco mediante una revisión sistemática de la comunidad y una implementación piloto.