Resumen Técnico: Hacia la Epidemiología de la IA

Planteamiento del Problema

Los sistemas de IA modernos, particularmente los Modelos de Lenguaje de Gran Escala (LLM), se despliegan cada vez más en dominios regulados de alto riesgo (salud, finanzas, legal) donde sus computaciones internas permanecen opacas ("caja negra"). Los enfoques de gobernanza actuales dependen fuertemente de la interpretabilidad basada en la correspondencia (p. ej., SHAP, LIME, rastreo mecanístico), que intenta mapear los resultados del modelo hacia mecanismos causales internos. Sin embargo, a medida que los modelos escalan, estos métodos enfrentan una intratabilidad computacional y una falta de fiabilidad epistémica; las atribuciones de características se vuelven inestables y los modelos suelen generar explicaciones plausibles pero infieles.

Consecuentemente, existe una brecha de gobernanza crítica: una falta de métodos escalables y no mecanísticos para detectar fallos en los resultados de la IA y desalineaciones de políticas en tiempo real durante el despliegue, sin acceso a los internos del modelo. Los sistemas de reporte de incidentes existentes son retrospectivos y selectivos, mientras que la auditoría algorítmica a menudo carece de unidades de análisis estandarizadas para interacciones rutinarias.

Metodología

El artículo propone un Marco de Estandarización de la Medición diseñado para comprimir las interacciones experto-IA en campos estructurados y comparables para permitir la detección prospectiva de riesgos. Este enfoque desplaza el foco de la detección de riesgos de los procesos internos del modelo hacia patrones observables de comportamiento, trazando una analogía con la epidemiología (p. ej., la identificación de la fuente de agua de John Snow o el vínculo entre el tabaco y el cáncer de Bradford Hill), donde las correlaciones a nivel poblacional justifican la intervención a pesar de la incertidumbre mecanística.

Componente Central: La Gramática

El marco define un protocolo estructurado que comprende ocho campos para capturar las interacciones:

1. Misión: La tarea extraída de la entrada del experto (tipo de tarea + sujeto).
2. Conclusión: La acción recomendada por la IA, categorizada en lugar de ser literal.
3. Justificación: Las razones proporcionadas por la IA, categorizadas.
4. Nivel de Riesgo: Una variable de estratificación (Alto/Medio/Bajo) basada en la severidad potencial de daño si la conclusión es incorrecta.
5. Puntuación de Alineación con la Política: Una puntuación ordinal de tres niveles (Alto/Medio/Bajo) que evalúa la consistencia con la política institucional/regulatoria.
6. Puntuación de Alineación Evidencial: Una puntuación ordinal de tres niveles que evalúa si las afirmaciones fácticas en la justificación están respaldadas por la base de evidencia del dominio.
7. Anulación (Override): Un indicador binario que señala si un experto contestó explícitamente la conclusión de la IA.
8. Opción Correctiva: La conclusión y justificación revisadas exportadas por el experto tras una anulación.

El Mecanismo de LLM-como-Juez

Para lograr escala, el marco emplea un LLM-como-Juez para puntuar automáticamente la Alineación de Política y de Evidencia. Para abordar la circularidad estructural de usar un modelo de caja negra para juzgar a otro, el marco impone condiciones acotadas:

• Rúbricas Explícitas y Escalas Ancladas: Uso de una escala anclada de tres niveles para mejorar el acuerdo.
• Cadena de Pensamiento Estructurada (Chain-of-Thought): El juez razona paso a paso contra las rúbricas antes de asignar una puntuación.
• Anclaje mediante RAG: Los jueces están anclados en documentos de política y evidencia específicos para reducir la sicofancia y la auto-preferencia.
• Decodificación de Baja Temperatura: Para asegurar la estabilidad y la repetibilidad de la puntuación.

Se exige un Procedimiento de Verificación de Fiabilidad antes del despliegue, que requiere:

• Acuerdo Humano-Juez: Medido mediante el $\kappa$ de Cohen linealmente ponderado (objetivo $\ge 0.61$).
• Consistencia: Medida mediante el Coeficiente de Correlación Intraclase (ICC) para la estabilidad de test-retest (objetivo $\ge 0.75$).
• Diagnósticos de Sesgo: Pruebas dirigidas de sicofancia, verbosidad y auto-preferencia.

Protocolo de Evaluación Empírica

El artículo especifica un protocolo para probar si los campos de la gramática comprimida retienen suficiente poder predictivo para la detección de riesgos en comparación con el texto completo de la conversación.

• Diseño: Una prueba de no inferioridad comparando un clasificador entrenado en los campos de la gramática ($X$) contra un clasificador de "entrada completa".
• Métrica: Área Bajo la Curva (AUC) para separar interacciones alineadas de desalineadas.
• Margen: Un margen de no inferioridad preespecificado de $\delta = 0.05$.
• Inferencia: Inferencia de bootstrap emparejado (10,000 remuestreos) con la prueba de DeLong para sensibilidad y corrección de Holm–Bonferroni para pruebas múltiples.
• Refinamiento: Un proceso iterativo de refinamiento de la gramática (división de categorías, ajuste de rúbricas) guiado por la brecha de AUC hasta que se cumpla la no inferioridad en un conjunto de prueba congelado.

Contribuciones Clave

1. Cambio Conceptual: Introduce la "interpretabilidad basada en la correspondencia" como una categoría distinta del enfoque "basado en la correlación" propuesto. Argumenta que, para la gobernanza inmediata, observar los patrones de salida es más viable que esperar la transparencia mecanística.
2. Estandarización de la Medición: Define una gramática específica y un protocolo de puntuación que transforma los diálogos no estructurados entre experto e IA en unidades de datos estandarizadas y comparables, aptas para el análisis a nivel poblacional.
3. Señales de Gobernanza: Propone tres señales institucionales accionables derivadas de los datos:
   • Distribuciones de Alineación Agregada: Identificación de dominios donde los resultados de la IA son consistentemente desalineados.
   • Patrones de Anulación (Override): Resaltar dónde los expertos contestan sistemáticamente las recomendaciones de la IA.
   • Patrones de Opción Correctiva: Revelar los fundamentos específicos y las conclusiones revisadas que los expertos prefieren, ofreciendo un conjunto de datos "correctivo" para futuros ajustes de modelos o actualizaciones de políticas.
4. Programa Empírico de Tres Etapas: Esboza un camino de investigación por etapas:
   • Etapa 1: Establecer la estandarización de la medición (fiabilidad de los jueces LLM).
   • Etapa 2: Validar las señales de gobernanza (utilidad para expertos e instituciones).
   • Etapa 3: Establecer asociaciones de resultados (vincular las puntuaciones de alineación con eventos adversos posteriores).

Resultados y Reivindicaciones

Al ser un documento conceptual, no se presentan resultados empíricos. El artículo establece explícitamente que las afirmaciones a nivel poblacional son objeto de un programa de investigación por etapas, no resultados reclamados en este texto.

El documento realiza tres afirmaciones específicas y contrastables:

1. Reivindicación de Fiabilidad: Bajo condiciones acotadas (rúbricas, RAG, baja temperatura), los LLM pueden producir evaluaciones estandarizadas y fiables de la alineación comparables a los evaluadores humanos.
2. Reivindicación de Gobernanza: Las puntuaciones de alineación proporcionan señales inmediatas a los expertos durante el despliegue y permiten a las instituciones monitorear los patrones de alineación a través de modelos y dominios.
3. Reivindicación Epidemiológica: Una vez estandarizada la medición, las puntuaciones de alineación agregadas pueden utilizarse para estudiar asociaciones con resultados posteriores, permitiendo una "epidemiología de la IA" que detecta riesgos mediante variables correlacionadas en lugar del análisis mecanístico.

Significancia

La significancia del artículo radica en proporcionar una vía pragmática y escalable para la gobernanza de la IA ante la ausencia de una interpretabilidad perfecta. Al tratar la detección de riesgos de la IA como un problema epidemiológico, ofrece un método para:

• Detectar riesgos prospectivamente (antes de que ocurran los incidentes) en lugar de retrospectivamente.
• Operar a escala sin requerir acceso a los pesos del modelo o a sus estados internos.
• Generar pistas de auditoría y datos correctivos que puedan informar tanto las decisiones inmediatas de los expertos como la política institucional a largo plazo.

El marco reconoce sus limitaciones, incluyendo la "disanalogía entre exposición e instrumento" (usar un LLM para juzgar a otro LLM) y el potencial de efectos de observador, pero argumenta que los procedimientos de verificación y el refinamiento iterativo propuestos pueden mitigar estas amenazas a la validez. El objetivo final es establecer una base donde la "epidemiología de la IA" pueda funcionar como una capa de seguridad robusta y no mecanística para los sistemas de IA desplegados.