🤖 machine learning

Understanding Annotator Safety Policy with Interpretability

Este artículo introduce los Modelos de Política de Anotadores (MPA), un marco interpretable que infiere las políticas de seguridad internas de los anotadores directamente a partir de su comportamiento de etiquetado para distinguir entre fallos operativos, ambigüedad de políticas y pluralismo de valores, permitiendo así un diseño de políticas de seguridad más dirigido e inclusivo sin carga adicional de anotación.

Autores originales: Alex Oesterling, Donghao Ren, Yannick Assogba, Dominik Moritz, Sunnie S. Y. Kim, Leon Gatys, Fred Hohman

Publicado 2026-05-08

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Alex Oesterling, Donghao Ren, Yannick Assogba, Dominik Moritz, Sunnie S. Y. Kim, Leon Gatys, Fred Hohman

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres el chef principal de un restaurante masivo (un sistema de IA). Tu objetivo es servir comida que sea segura para que todos la consuman. Para lograrlo, contratas a un equipo de 100 críticos gastronómicos diferentes (anotadores) para que prueben tus platos y decidan: "¿Es esto seguro para servir?" o "¿Es esto venenoso?".

¿El problema? Los críticos no se ponen de acuerdo. A veces un crítico dice que un plato picante es "seguro", mientras que otro dice que es "tóxico". A veces discrepan porque no leyeron el menú correctamente. A veces discrepan porque las instrucciones del menú eran vagas. Y a veces, discrepan porque genuinamente tienen gustos culturales diferentes.

Normalmente, el gerente del restaurante simplemente toma una votación. Si el 51% dice "seguro", el plato se sirve. Pero esto es peligroso. Oculta el hecho de que el 49% de tus críticos piensa que es veneno, y no te dice por qué discreparon.

Este artículo introduce una nueva herramienta llamada Modelos de Política de Anotadores (APM). Piensa en los APM como "Gafas de Lectura Mental" que te permiten ver exactamente cómo decide cada crítico qué es seguro, solo mirando sus notas pasadas, sin tener que pedirles nunca que se expliquen.

Así es como el artículo lo desglosa:

1. El Problema: La "Caja Negra" del Desacuerdo

Cuando los críticos (humanos o IA) etiquetan datos, a menudo discrepan.

Fallos Operativos: El crítico no entendió el trabajo. (Ejemplo: Se suponía que debían probar la salsa del chef, pero en su lugar probaron la salsa picante del cliente).
Ambigüedad de la Política: El reglamento era confuso. (Ejemplo: La regla dice "Sin lenguaje ofensivo", pero no especifica si citar una mala palabra para una lección cuenta como una violación).
Pluralismo de Valores: Los críticos simplemente tienen valores diferentes. (Ejemplo: Un crítico piensa que un chiste es gracioso; otro piensa que es hiriente).

Normalmente, solo contamos los votos. Pero si no sabemos por qué votaron de la manera que lo hicieron, no podemos arreglar el menú ni las reglas.

2. La Solución: Las "Gafas de Lectura Mental" (APM)

En lugar de preguntar a los críticos: "¿Por qué votaron de esta manera?" (lo cual es lento, costoso y la gente a menudo miente o olvida), los autores construyeron un modelo informático que aprende el reglamento interno del crítico solo observando sobre qué votan.

Cómo funciona: El modelo examina miles de votos pasados. Encuentra patrones. Por ejemplo, podría darse cuenta: "Ah, este crítico específico siempre vota 'inseguro' cada vez que aparece la palabra 'pistola', pero no le importa la palabra 'cuchillo'".
La Magia: El modelo traduce estos patrones en reglas simples y legibles (como un diagrama de flujo). No solo dice "Inseguro"; dice "Inseguro porque: Pistola + Sin Contexto".
Sin Trabajo Extra: Los críticos no tienen que hacer nada nuevo. El modelo simplemente estudia su trabajo existente.

3. Lo que las Gafas Revelaron

Los autores probaron estas gafas en dos grupos: críticos de IA (LLM) y críticos humanos.

A. Detectar Errores (Fallos Operativos)
Las gafas mostraron que algunos críticos estaban mirando la cosa equivocada. Estaban juzgando la pregunta grosera del cliente en lugar de la respuesta educada del chef. El modelo detectó este patrón instantáneamente, permitiendo al gerente reentrenar a esos críticos específicos.

B. Encontrar Reglas Vagas (Ambigüedad de la Política)
Las gafas mostraron que algunos críticos estaban confundidos por las reglas. Por ejemplo, cuando un chef intentaba cambiar de tema para evitar una pregunta grosera, algunos críticos lo marcaron como "inseguro" porque querían un rechazo directo. El modelo resaltó esta confusión, diciéndole a los gerentes: "Oye, nuestro reglamento necesita ser más claro sobre lo que cuenta como un rechazo 'bueno'".

C. Escuchar Voces Diferentes (Pluralismo de Valores)
Esta fue la parte más interesante. Las gafas descubrieron que los críticos de diferentes orígenes (como diferentes edades o niveles educativos) tenían diferentes "prioridades de seguridad".

Ejemplo: Un grupo de críticos pensó que un modelo cambiando educadamente de tema era seguro. Otro grupo pensó que era peligroso porque parecía que el modelo estaba ocultando la verdad.
La Idea Clave: Si solo tomas una votación mayoritaria, silencias al grupo minoritario. Los APM te permiten ver que existen estos diferentes grupos y en qué se fijan, para que puedas diseñar un sistema que respete más perspectivas, en lugar de solo la más ruidosa.

4. La Prueba de "¿Qué pasaría si...?"

Para asegurarse de que las gafas funcionaban, los autores jugaron una trampa. Tomaron un texto que un crítico marcó como "inseguro" y usaron el modelo para averiguar exactamente qué lo hacía inseguro. Luego, pidieron a una IA que cambiara solo esa una cosa (por ejemplo, cambiar una "bomba" por un "pastel").

El Resultado: Cuando mostraron el nuevo texto al crítico original, el crítico cambió su voto a "seguro".
Por qué importa: Esto demostró que el modelo no solo estaba adivinando; realmente entendía la lógica del crítico. Sabía exactamente qué ingrediente causaba la etiqueta de "veneno".

Resumen

El artículo argumenta que no deberíamos simplemente contar votos para decidir qué es seguro en la IA. Necesitamos entender la lógica individual detrás de los votos.

Al usar estos Modelos de Política de Anotadores, podemos:

Arreglar errores de entrenamiento.
Aclarar reglas confusas.
Asegurar que puntos de vista diversos no sean borrados accidentalmente por una simple votación mayoritaria.

Es como pasar de un restaurante donde solo tomas una votación sobre el menú, a un restaurante donde puedes ver exactamente por qué cada crítico individual le gustó o no le gustó un plato, para que puedas hacer la comida mejor para todos.

Resumen Técnico: Comprensión de la Política de Seguridad del Anotador mediante Interpretabilidad

Declaración del Problema

Las políticas de seguridad son fundamentales para definir y mitigar las salidas dañinas de la IA, sin embargo, los procesos de anotación utilizados para entrenar y evaluar estos sistemas sufren de un desacuerdo generalizado. Este desacuerdo proviene de tres fuentes distintas:

Fallos Operativos: Los anotadores malinterpretan o ejecutan incorrectamente la tarea (por ejemplo, etiquetando el prompt del usuario en lugar de la respuesta del modelo).
Ambigüedad de la Política: Las directrices de seguridad contienen redacción que permite múltiples interpretaciones válidas (por ejemplo, si la desviación constituye una negativa segura).
Pluralismo de Valores: Los anotadores sostienen perspectivas genuinamente diferentes sobre la seguridad basadas en la demografía, la cultura y los valores personales.

Las prácticas actuales, como el voto mayoritario, confunden estas fuentes, a menudo fallando en abordar la ambigüedad genuina o silenciando las perspectivas minoritarias. Además, pedir directamente a los anotadores que expliquen su razonamiento es costoso, aumenta la carga de anotación y a menudo es poco fiable debido a la racionalización post-hoc o a la falta de fidelidad del razonamiento de cadena de pensamiento en los LLM. El artículo aborda el desafío de distinguir estas fuentes de desacuerdo para permitir respuestas dirigidas (por ejemplo, mejor entrenamiento, refinamiento de políticas o diseño inclusivo) sin requerir esfuerzo humano adicional.

Metodología: Modelos de Política del Anotador (APMs)

Los autores introducen los Modelos de Política del Anotador (APMs), modelos interpretables que aprenden las políticas de seguridad internas de los anotadores individuales directamente de su comportamiento de etiquetado.

Arquitectura Central

Los APMs utilizan Modelos de Cuello de Botella de Conceptos (CBM) para descomponer el proceso de predicción en dos etapas:

Codificación de Conceptos ( $g$ ): El texto de entrada se mapea a un espacio de características binario de $c$ conceptos relevantes para la seguridad. Para evitar el costo del etiquetado humano de conceptos, los autores emplean un enfoque de CBM sin Etiquetas. Generan una lista de conceptos candidatos a partir de conjuntos de datos de seguridad (BeaverTails) utilizando GPT-4o, los agrupan y resumen, y luego utilizan modelos de incrustación (Gemini) para etiquetar la presencia de estos conceptos en el texto mediante similitud del coseno y el operador Sparsemax. Crucialmente, el espacio de conceptos captura la presencia factual (por ejemplo, "mención de un arma") en lugar de juicios interpretativos (por ejemplo, "mención dañina").
Aprendizaje de la Política ( $f$ ): Para cada anotador $k$ $k$ , se entrena una función simple e interpretable para mapear el vector de conceptos binario a una etiqueta de seguro/inseguro. Los autores proponen dos clases de modelos:
- Regresión Logística No Negativa (NNLR): Los pesos están restringidos a ser no negativos, asegurando que el modelo prediga por defecto "seguro" y solo prediga "inseguro" cuando las características positivas acumulan evidencia suficiente.
- Forma Normal Disyuntiva (DNF): Reglas booleanas en forma de "ORs de ANDs", donde la activación de cualquier regla individual desencadena una predicción de "inseguro". Esto se alinea con la intuición de que una sola violación de la política hace que el texto sea inseguro.

Principios de Diseño

Solo Características Positivas: Las características representan la presencia de conceptos, no su ausencia, para evitar correlaciones espurias (por ejemplo, "inseguro porque carece de comida").
Seguro Hasta que se Demuestre lo Contrario: Los modelos predican por defecto como seguros a menos que estén presentes características inseguras específicas.

Validación y Resultados

Los autores validan los APMs utilizando tanto datos de anotación de LLM como de humanos.

Validación con LLM

Utilizando los conjuntos de datos BeaverTails y WildGuardMix, los APMs fueron entrenados en cinco anotadores LLM diferentes (GPT-4o, GPT-4o-mini y varios modelos Qwen).

Precisión Predictiva: Los APMs lograron una precisión del 73–90% y un AUC de 0.78–0.95 (para NNLR) en los anotadores LLM, demostrando que modelos interpretables simples pueden aproximar el comportamiento de modelos base complejos.
Generalización: Los conceptos extraídos de BeaverTails se generalizaron bien a WildGuardMix con una degradación mínima del rendimiento.
Recuperación Controlada de Políticas: En experimentos sintéticos donde se simuló a "Alice" (trata las armas como seguras) y "Bob" (trata las drogas como seguras), los APMs recuperaron con éxito estas diferencias de política conocidas. "Diferenciar" los modelos (comparando conjuntos de características) identificó automáticamente los conceptos específicos que impulsaban la divergencia.
Fidelidad Contrafactual: Cuando las entradas se modificaron mínimamente para eliminar las características identificadas por el APM como causantes de una etiqueta "insegura", la predicción del anotador original cambió en la mayoría de los casos, confirmando que los APMs capturan características causalmente relevantes en lugar de meras correlaciones.

Aplicaciones en Anotación Humana (Conjunto de Datos DICES)

Aplicados al conjunto de datos DICES (350 interacciones calificadas por 123 anotadores humanos), los APMs destacaron tres ideas clave:

Fallos Operativos: Identificaron anotadores que sistemáticamente etiquetaron la interacción completa como insegura en lugar de solo la respuesta del modelo, indicando un malentendido de la tarea.
Ambigüedad de la Política: Revelaron desacuerdos en casos límite, como si la "desviación" o las "preguntas de seguimiento" sobre temas dañinos constituían respuestas seguras, destacando dónde la redacción de la política es poco clara.
Pluralismo de Valores: Al entrenar APMs en grupos demográficos (por ejemplo, Millennials vs. Gen X+, Universitarios vs. Secundaria), los autores encontraron diferencias sistemáticas en las prioridades de seguridad. Por ejemplo, los anotadores Millennials tenían más probabilidades de marcar la "redirección amable" de argumentos de la tierra plana como insegura en comparación con los anotadores Gen X+.
- Contribución Única de Reglas (URC): El estudio validó que las reglas únicas aprendidas por los APMs específicos de grupo se activaron preferentemente en muestras donde ese grupo discrepaba con los demás, confirmando que estas reglas capturan diferencias conductuales genuinas.
- Supresión del Voto Mayoritario: El análisis mostró que la agregación por voto mayoritario oscurece las perspectivas de los grupos minoritarios. Los APMs identificaron una proporción significativa de muestras consideradas inseguras por grupos demográficos específicos pero seguras por la mayoría, lo que sugiere que la agregación estándar borra estas preocupaciones de seguridad.

Contribuciones Clave

Modelos de Política de Anotador Interpretables: La introducción de APMs para modelar explícitamente las políticas de seguridad de los anotadores individuales utilizando técnicas de interpretabilidad de ML sin requerir esfuerzo de anotación adicional.
Validación Exhaustiva: Demostración de que los APMs modelan con precisión el comportamiento del anotador (>80% de precisión en LLMs), predicen fielmente las respuestas a ediciones contrafactuales y recuperan diferencias de políticas conocidas en entornos controlados.
Superficie de Fuentes de Desacuerdo: Evidencia empírica de que los APMs pueden distinguir fallos operativos, ambigüedad de políticas y pluralismo de valores en las tuberías de anotación humana.
Análisis Demográfico: La revelación de diferencias sistemáticas en la priorización de seguridad a través de grupos demográficos y la demostración de cómo el voto mayoritario suprime estas diversas perspectivas.

Significado y Afirmaciones

El artículo afirma que los APMs proporcionan un mecanismo para hacer visible y comparable el razonamiento del anotador, superando los métodos de agregación opacos. Al desentrañar las fuentes de desacuerdo, los desarrolladores pueden responder adecuadamente:

Los fallos operativos pueden abordarse mediante un mejor entrenamiento y control de calidad.
La ambigüedad de la política puede resolverse mediante un refinamiento y clarificación de políticas dirigidos.
El pluralismo de valores puede abordarse mediante la deliberación sobre cómo incorporar diversas perspectivas, potencialmente concatenando reglas únicas de grupos subrepresentados al modelo de voto mayoritario para garantizar una cobertura de seguridad inclusiva.

Los autores enfatizan que, aunque el enfoque es la seguridad, la metodología es generalizable a cualquier tarea de anotación subjetiva. Señalan limitaciones, incluida la dependencia de conceptos generados por LLM y el hecho de que los APMs revelan qué desacuerdan los anotadores, pero no necesariamente el por qué sociológico profundo sin estudios de usuarios adicionales. El trabajo posiciona a los APMs como una herramienta de diagnóstico para mejorar la transparencia, el enfoque y la inclusividad del diseño de políticas de seguridad de la IA.