Resumen Técnico: Evaluación de Expertos y los Límites de la Retroalimentación Humana en las Pruebas de Seguridad de IA en Salud Mental

Declaración del Problema

El paradigma predominante para el desarrollo y la evaluación de sistemas de IA, particularmente en dominios de alto riesgo como la salud mental, se basa en el Aprendizaje a partir de la Retroalimentación Humana (LHF). Este enfoque asume que la agregación de juicios de expertos produce una señal válida de "verdad fundamental" para entrenar modelos de recompensa (por ejemplo, RLHF, DPO) y clasificadores de seguridad. Sin embargo, esta suposición rara vez se pone a prueba y, cuando se mide la fiabilidad, a menudo no se informa.

En salud mental, las apuestas son excepcionalmente altas: las respuestas inapropiadas de la IA pueden llevar a la fatalidad, al refuerzo de delirios o a la perpetuación del estigma. La evaluación depende típicamente de un pequeño número de especialistas que califican las salidas de la IA. El problema central investigado es si estos expertos pueden realmente alcanzar un consenso consistente. Si los expertos sostienen filosofías clínicas fundamentalmente diferentes, la agregación de sus etiquetas podría no reducir el ruido, sino más bien borrar marcos profesionales fundamentados, creando "compromisos aritméticos" que no reflejan ninguna realidad clínica coherente.

Metodología

Los autores emplearon un diseño secuencial de métodos mixtos que combina un análisis cuantitativo de fiabilidad con una investigación cualitativa de los marcos clínicos.

Construcción del Conjunto de Datos

• Contenido: Un conjunto de datos de 360 respuestas generadas por IA a prompts sintéticos de salud mental.
• Modelos: Las respuestas fueron generadas por cuatro modelos de lenguaje grande: GPT-5, Claude 4 Sonnet, Grok-4 y Llama 3.2.
• Diseño: Los prompts se variaron sistemáticamente utilizando una matriz 3×3 que cruza la gravedad clínica (baja, moderada, alta) con la directividad de la comunicación.
• Categorías de Riesgo: Se definieron diez categorías de alto riesgo (por ejemplo, apoyar la ideación suicida, reforzar alucinaciones, castigar comportamientos del TDAH), derivadas de guías clínicas y trabajos anteriores sobre respuestas de IA dañinas.

Marco de Evaluación

• Rúbrica: Una rúbrica calibrada que cubre dos dimensiones (Seguridad y Calidad) a través de ocho factores:
  • Seguridad: Gravedad del daño potencial, Probabilidad de daño potencial.
  • Calidad: Corrección, Relevancia, Escucha activa, Empatía y validación, Límites y descargos de responsabilidad éticos, Accionabilidad y aliento.
• Escala: Escalas Likert de 5 puntos (1 = peor, 5 = mejor).

Participantes y Procedimiento

• Calificadores: Tres psiquiatras certificados por la junta con subespecialidades diversas (adultos, niños/adolescentes), orientaciones teóricas (cultural, biopsicosocial) y poblaciones de pacientes.
• Proceso:
  1. Calibración: Una sesión de 90 minutos para revisar las escalas y los puntos de anclaje.
  2. Anotación: Calificación independiente de las 360 respuestas en todos los 8 factores (totalizando 8.640 calificaciones).
  3. Entrevistas: Entrevistas semiestructuradas (45–60 min) para explorar los procesos de evaluación y los marcos subyacentes.
• Análisis:
  • Cuantitativo: Coeficientes de Correlación Intraclasa (ICC) para la fiabilidad y el $\alpha$ de Krippendorff para datos ordinales. Desviación Absoluta Media (MAD) para medir la magnitud del desacuerdo.
  • Cualitativo: Análisis temático reflexivo de las transcripciones de las entrevistas para explicar los patrones cuantitativos.

Resultados Clave

1. Baja Fiabilidad Inter-evaluador

A pesar de una formación similar e instrucciones compartidas, la fiabilidad inter-evaluador fue consistentemente pobre, cayendo por debajo del umbral de 0.40 típicamente considerado mínimamente aceptable para evaluaciones con consecuencias.

• Fiabilidad de un solo evaluador ($ICC_{(2,1)}$): Osciló entre 0.087 (Límites) y 0.295 (Escucha activa).
• Fiabilidad Promediada ($ICC_{(2,k)}$): Incluso al promediar a los tres evaluadores, la fiabilidad solo alcanzó niveles "aceptables" (máximo 0.556), con "Límites" permaneciendo en el rango "pobre" (0.223).
• $\alpha$ de Krippendorff: Cuatro factores arrojaron valores negativos (por ejemplo, Límites $\alpha = -0.203$), indicando un desacuerdo sistemático peor que el azar. Esto sugiere que cuando un evaluador puntuó alto, los otros puntuaron sistemáticamente bajo.

2. La Paradoja de Alto Riesgo

El desacuerdo fue más alto en los elementos más críticos para la seguridad, contradiciendo la suposición de que los expertos se alinean mejor en cuestiones críticas.

• Suicidio y Autolesión: Produjeron el mayor desacuerdo (MAD 0.598 y 0.566, respectivamente).
• TDAH: Mostró el menor desacuerdo (MAD 0.461), probablemente porque las guías son menos prescriptivas.
• Gravedad: Los casos de alta gravedad generaron más desacuerdo que los casos de baja o moderada gravedad.

3. Desacuerdo Sistemático, No Aleatorio

El desacuerdo fue direccional y reflejó marcos clínicos coherentes pero incompatibles en lugar de errores de medición.

• Asimetría del Evaluador: Se observó una asimetría de 3.5:1 entre los evaluadores. El Evaluador A (media 4.186) fue consistentemente más indulgente que el Evaluador C (media 3.639).
• Divergencia Impulsada por el Marco:
  • Experto A (Seguridad Primero): Priorizó la evitación del daño; calificó las respuestas más alto si evitaban el daño activo, incluso si eran terapéuticamente limitadas.
  • Experto B (Centrado en la Participación): Se enfocó en la conexión terapéutica y la búsqueda de ayuda; penalizó las respuestas "seguras" pero frías.
  • Experto C (Informado Culturalmente): Aplicó los estándares más estrictos, enfatizando el contexto cultural y las limitaciones explícitas de la IA; calificó el 92% de las respuestas como inadecuadas en "Límites" porque carecían de descargos de responsabilidad explícitos.
• Factor Límites: El factor de menor fiabilidad ($\alpha = -0.203$) ejemplificó esto. El Experto C requería descargos de responsabilidad explícitos de "Soy una IA", mientras que el Experto A aceptaba límites implícitos a través de derivaciones. La agregación de estas opiniones produjo una media que no reflejaba el estándar real de ningún experto.

4. Patrones Específicos del Modelo

El desacuerdo varió según el modelo de origen. GPT-5 mostró el mayor desacuerdo en "Límites" (MAD 0.921), mientras que Grok-4 mostró el mayor desacuerdo general, particularmente en dimensiones interpersonales. Esto indica que las estimaciones de fiabilidad de un modelo no necesariamente se generalizan a otros.

Contribuciones Clave

1. Prueba de Existencia de Desacuerdo Irreducible: El estudio demuestra que incluso entre psiquiatras certificados por la junta, el desacuerdo de expertos sobre la seguridad de la IA es sustancial, sistemático y persiste a pesar de la calibración. Esto desafía la suposición de que la retroalimentación humana proporciona una verdad fundamental estable para RLHF y la clasificación de seguridad.
2. Identificación de Sesgo Sistemático: El artículo muestra que el desacuerdo no es ruido aleatorio, sino que refleja filosofías clínicas competitivas (seguridad primero vs. participación vs. contexto cultural). Estas diferencias son más pronunciadas en escenarios de alto riesgo (suicidio, autolesión).
3. Mecanismo Cualitativo: A través de entrevistas, los autores identifican que los expertos se basan en heurísticas de riesgo holísticas en lugar de discriminación granular de factores. El "ruido" que los métodos de alineación actuales buscan promediar es en realidad una señal controvertida que representa marcos profesionales válidos y divergentes.

Significado e Implicaciones

El artículo argumenta que en dominios críticos para la seguridad con consecuencias longitudinales, la retroalimentación humana podría no proporcionar la verdad fundamental estable asumida por los métodos actuales de alineación de IA.

• Para el Modelado de Recompensas: Entrenar modelos de recompensa con etiquetas agregadas podría enseñar a los modelos a imitar "compromisos aritméticos" en lugar de una calidad clínica genuina, lo que potencialmente llevaría a comportamientos terapéuticamente incoherentes.
• Para la Clasificación de Seguridad: Los clasificadores entrenados con etiquetas de expertos en dominios de alto riesgo (por ejemplo, riesgo de suicidio) podrían heredar juicios controvertidos como verdad fundamental, creando una falsa confianza en la seguridad.
• Para los Puntos de Referencia de Evaluación: Los puntos de referencia que tratan las calificaciones humanas como verdad objetiva son fundamentalmente defectuosos si los expertos no pueden ponerse de acuerdo sobre lo que constituye una respuesta "buena".

Recomendaciones

Los autores proponen cambiar de la agregación basada en consenso a métodos que preserven y aprendan del desacuerdo de expertos:

• Reportar Fiabilidad: La fiabilidad inter-evaluador debe informarse en todos los estudios de evaluación.
• Anotación Declarativa de Marco: Los expertos deben declarar su marco clínico antes de la anotación, creando distribuciones etiquetadas indexadas por marco en lugar de puntuaciones colapsadas.
• Desacuerdo como Señal de Escalada: El alto desacuerdo debe desencadenar una revisión con intervención humana o un comportamiento conservador del sistema, en lugar de ser absorbido en un agregado.
• Ponderación Consciente del Contexto: Para casos de uso específicos, podría ser necesario ponderar a los anotadores cuyos marcos coinciden con el contexto de implementación, aunque la selección dinámica de marcos sigue siendo un desafío abierto.

El estudio concluye que el desacuerdo de expertos en la IA crítica para la seguridad es un fenómeno sociotécnico donde la experiencia profesional introduce capas sofisticadas de divergencia principista que no pueden resolverse mediante una mejor medición o grupos más grandes de anotadores.