Resumen Técnico: Mejora de la Consistencia en el Etiquetado mediante Definiciones Constitucionales Detalladas y Evaluación Impulsada por IA

Enunciado del Problema

Las pipelines de etiquetado automatizado, particularmente en la moderación de contenido, dependen de "etiquetas doradas" derivadas de especificaciones de categorías escritas. Sin embargo, las definiciones estándar (a menudo de una o dos frases) carecen de la granularidad necesaria para resolver casos límite de manera consistente. Cuando las definiciones son demasiado breves, los anotadores humanos y los Modelos de Lenguaje Grandes (LLM) recurren a sus priores de entrenamiento internos o a la intuición en lugar de seguir las reglas escritas. Esto genera una deriva significativa en la precisión y consistencia del etiquetado, especialmente cuando diferentes modelos o anotadores interpretan la misma definición corta de manera distinta. Además, los límites de la memoria de trabajo humana impiden que los anotadores retengan especificaciones complejas y cargadas de reglas, lo que les lleva a comprimir dichas especificaciones en heurísticas.

Metodología

Los autores proponen un flujo de trabajo impulsado por IA centrado en Especificaciones Constitucionales. A diferencia de trabajos previos de "IA Constitucional" enfocados en principios de comportamiento o aplicación en tiempo de ejecución, este enfoque trata la constitución como una especificación operativa detallada, por categoría, diseñada para producir etiquetas doradas consistentes para procesos aguas abajo.

1. Estructura de la Constitución

Cada categoría (por ejemplo, Acoso, Discurso de Odio, Delito No Violento) se define mediante un documento estructurado en Markdown (~300+ líneas) que contiene:

• Definición y Lógica de Decisión: Reglas explícitas para activar una clasificación positiva.
• Elementos Requeridos: Criterios específicos que deben cumplirse todos.
• Notas de Enrutamiento y Límites: Resoluciones sobre categorías adyacentes y casos límite (por ejemplo, distinguir la crítica política del acoso).
• Ejemplos Resueltos: Razonamiento paso a paso para casos positivos y negativos.
• Formulación de Doble Eje: Dos etiquetas binarias independientes por categoría:
  • Intención: Un intento de causar o obtener daño.
  • Contenido: Material dañino que aparece en la conversación.
  • Nota: La evaluación se realiza sobre la conversación completa en lugar de mensajes individuales para capturar ataques de múltiples turnos y escaladas graduales.

2. Pipeline de Autoría y Refinamiento

El flujo de trabajo sigue un patrón de "humano dirige, IA ejecuta":

• Autoría: Los humanos identifican brechas (por ejemplo, una clasificación errónea o un nuevo patrón de ataque) y dirigen a la IA para revisar la constitución.
• Validación Cruzada entre Modelos: La constitución se aplica a conversaciones de producción utilizando múltiples LLM de vanguardia de diferentes proveedores (por ejemplo, OpenAI, Anthropic, Google). Los desacuerdos entre estos modelos se tratan como señales diagnósticas que indican secciones ambiguas o incompletas de la especificación.
• Bucle de Refinamiento: Una habilidad de agente rastrea los desacuerdos hasta secciones constitucionales específicas, redacta parches dirigidos y los presenta para revisión humana. Una vez fusionados, la constitución se revalida. Este proceso iterativo convierte resoluciones implícitas en explícitas.

3. Configuración de Evaluación

El enfoque se evaluó en tres categorías: Acoso, Delito No Violento y Discurso de Odio.

• Conjuntos de Datos: HarmBench (para medir la divergencia de definiciones y el acuerdo entre evaluadores) y WildChat (para evaluar la estabilidad cruzada entre modelos bajo condiciones de producción realistas).
• Líneas Base: Se compararon seis fuentes de definición, incluidas cuatro taxonomías publicadas (OpenAI, Llama Guard 3, MLCommons AILuminate, AEGIS), una definición a nivel de párrafo y la constitución refinada final.
• Métricas: Tasas de desacuerdo por pares por cada 1.000 conversaciones y unanimidad de tres evaluadores (comparando tres anotadores humanos frente a tres LLM de vanguardia leyendo la misma constitución).

Resultados Clave

1. Reducción del Desacuerdo entre Modelos

El enfoque constitucional redujo significativamente la inconsistencia entre diferentes LLM.

• En WildChat, el desacuerdo entre modelos se redujo hasta en 57 veces en comparación con definiciones a nivel de párrafo.
• Para modelos de vanguardia (por ejemplo, GPT-5.4, Opus 4.6, Gemini 3.1), las tasas de desacuerdo cayeron a menos de 3 por cada 1.000 conversaciones, mientras que las definiciones de párrafo resultaron en tasas que oscilaban entre 2 y 66 por cada 1.000.
• La reducción fue más dramática para categorías amplias como Delito No Violento, donde las definiciones cortas fallaron al resolver subtipos, mientras que la constitución proporcionó resoluciones de límites explícitas.

2. Superioridad de los LLM sobre los Humanos en la Aplicación de Especificaciones

Contrario a la suposición de que los humanos son el estándar de oro para aplicar reglas, el estudio encontró que tres LLM de vanguardia leyendo la misma constitución lograron una mayor unanimidad que tres anotadores humanos leyendo el mismo documento.

• Delito No Violento: La no unanimidad de los LLM fue de 84,2 por cada 1.000 frente a 301,0 para los humanos.
• Acoso: La no unanimidad de los LLM fue de 37,9 frente a 43,4 para los humanos.
• Análisis: Los anotadores humanos fallaron frecuentemente al tratar la clasificación multietiqueta como de etiqueta única (eligiendo una categoría sobre otra) o al marcar daños superficiales sin aplicar la lógica de decisión específica. Los LLM, por el contrario, evaluaron cada categoría de forma independiente y aplicaron consistentemente el contexto completo del documento.

3. Valor Diagnóstico del Desacuerdo

El desacuerdo entre modelos sirvió como una herramienta diagnóstica efectiva. La mayoría de los desacuerdos residuales entre modelos de vanguardia no fueron fallos en el seguimiento de instrucciones, sino ambigüedades genuinas donde la constitución aplicaba múltiples disposiciones sin un prior compartido sobre la sospecha del usuario. Estos casos se utilizaron para refinar la "postura de conservadurismo" y añadir resoluciones de límites específicas.

Significado y Afirmaciones

El artículo afirma que constituciones estructuradas por categoría acopladas con paneles de consenso de LLM ofrecen una solución escalable para producir etiquetas doradas precisas, consistentes y auditables.

• Cambio en el Rol Humano: El rol humano cambia de la anotación por conversación (propensa a la deriva y la sobrecarga cognitiva) a la autoría de especificaciones y la triaje de desacuerdos.
• Precisión Operativa: La formulación de doble eje (intención/contenido) proporciona señales distintas a los consumidores aguas abajo (por ejemplo, equipos de seguridad, atención al cliente). Por ejemplo, un sistema puede registrar "intención sin contenido" para investigar abusadores recurrentes incluso si el modelo rechazó la solicitud, una distinción perdida en sistemas de etiqueta única.
• Escalabilidad: El enfoque demuestra que la IA puede mantener y refinar especificaciones complejas que superan la capacidad de la memoria de trabajo humana, asegurando que la "etiqueta dorada" permanezca estable entre diferentes modelos y a lo largo del tiempo.

Los autores señalan limitaciones, incluida la necesidad de un mejor filtrado de los parches generados por IA antes de que ingresen a una pipeline de CI/CD y la observación de que los modelos actuales pueden tener dificultades con listas de excepciones extremadamente largas o complejas. Sin embargo, el hallazgo central es que una especificación más estricta, aplicada mediante validación impulsada por IA, produce resultados de seguridad más consistentes que depender de definiciones cortas o de la intuición humana.