Resumen Técnico: La seguridad es contextual, los jueces de LLM no lo son

Planteamiento del problema

Los modelos de lenguaje de gran tamaño (LLM) que actúan como jueces son el estándar de facto para evaluar la seguridad a escala, ya que las evaluaciones de seguridad suelen carecer de una única respuesta de verdad fundamental. Sin embargo, las evaluaciones actuales de estos jueces dependen en gran medida de métricas de acuerdo con humanos dentro de benchmarks estáticos. Este enfoque no logra capturar propiedades críticas necesarias para el despliegue en el mundo real, donde las definiciones de seguridad varían según la cultura, el dominio y el tiempo. Específicamente, no está claro si los jueces de LLM pueden:

1. Utilizar información en el contexto: ¿Pueden aprender de demostraciones o adaptarse a nuevo conocimiento semántico (por ejemplo, jerga, eventos recientes) proporcionado en el prompt?
2. Adherirse a políticas de seguridad específicas: ¿Pueden ser dirigidos para seguir definiciones de seguridad personalizadas o divergentes, o dependen rígidamente de los sesgos internos establecidos durante el preentrenamiento y el postentrenamiento?

El artículo argumenta que, sin comprender estas propiedades, los profesionales pueden desplegar jueces que parecen precisos en benchmarks estáticos pero que fallan al adaptarse a políticas empresariales específicas, matices culturales o cambios temporales en el lenguaje y las amenazas.

Metodología

Los autores realizaron una meta-evaluación de 13 diversos jueces de LLM (que abarcan modelos de código abierto/cerrado, de propósito general y específicos de seguridad) en cinco idiomas (inglés, francés, japonés, árabe y coreano). El estudio utilizó tres conjuntos de datos:

• MultilingualPrompts: Un conjunto de datos interno de 779 prompts que requieren conocimiento regional especializado.
• NovelPrompts: Un conjunto de datos en inglés de 194 prompts que contienen conceptos posteriores a los cortes de entrenamiento de los modelos (posteriores a julio de 2025).
• Sorry-BENCH: Un benchmark público de 1,000 muestras utilizado para verificaciones de robustez.

La evaluación se centró en dos propiedades principales:

1. Susceptibilidad: La probabilidad de que un juez cambie su predicción cuando se le proporciona información en el contexto. Esto se probó mediante:
   • Demostraciones: Proporcionar 2–4 ejemplos (correctos, incorrectos o ninguno) para ver si los jueces aprenden el formato de la tarea o el espacio de etiquetas.
   • Contexto Novedoso: Proporcionar explicaciones para términos especializados o conceptos posteriores al corte de conocimiento para ver si los jueces incorporan nuevo conocimiento semántico.
   • Contexto Irrelevante: Proporcionar información desordenada o no relacionada para probar la robustez.
2. Direccionalidad (Steerability): La probabilidad de que un juez cambie su predicción cuando se le da una política de seguridad modificada. Esto se probó mediante:
   • Variantes de Política: Modificar los umbrales de severidad para categorías específicas (por ejemplo, hacer que las autolesiones sean seguras y el contenido sexual sea inseguro).
   • Políticas Absurdas: Definir los deportes de pelota como "inseguros" para probar si los jueces pueden anular los sesgos de seguridad para tareas ortogonales.
   • Reencuadre de la Tarea: Enmascarar la tarea de seguridad como una tarea de clasificación arbitraria (Categoría A vs. B) para aislar el impacto del concepto de "seguridad" en la rigidez.

El rendimiento se midió utilizando precisión, puntuaciones F1 y tasas de cambio de predicción (la proporción de muestras donde la salida del juez cambió entre condiciones).

Resultados Clave

1. Susceptibilidad a la Información en el Contexto

• Las demostraciones son mayormente ineficaces: Proporcionar demostraciones (incluso las engañosas) tuvo un impacto marginal o inconsistente en el rendimiento. Los jueces rara vez cambiaron sus predicciones basadas en ejemplos, lo que sugiere que dependen de sus sesgos internos en lugar de aprender del contexto de pocos disparos (few-shot).
• El contexto novedoso cierra brechas de conocimiento: Los jueces mostraron una susceptibilidad significativa a la información semántica novedosa. Cuando se proporcionó contexto explicando conceptos posteriores al corte de conocimiento (en NovelPrompts), las puntuaciones F1 mejoraron en un promedio del 10%. Este efecto fue más pronunciado en muestras con baja frecuencia en el corpus (bajo conocimiento previo).
• El conocimiento previo dicta la susceptibilidad: Los jueces son significativamente más propensos a cambiar sus predicciones en muestras donde tienen sesgos débiles (baja frecuencia de palabras en los datos de entrenamiento). Por el contrario, permanecen rígidos en muestras que "conocen", incluso cuando se les presenta un contexto contradictorio.
• Variabilidad inherente: La susceptibilidad es una propiedad específica del modelo. Algunos modelos (por ejemplo, Tiny-Aya) son altamente susceptibles tanto al contexto útil como al distractor, mientras que otros son robustos.

2. Direccionalidad hacia Políticas de Seguridad

• Los jueces luchan por adaptarse a nuevas políticas: Cuando se presentaron definiciones de seguridad que contradecían sus sesgos internos (por ejemplo, reclasificar las autolesiones como seguras), los jueces no lograron adaptarse. Cambiaron solo ~5% de las predicciones cuando se requería alinear más del 15% con la nueva política, lo que resultó en caídas significativas de precisión respecto a la nueva verdad de campo.
• Las políticas absurdas revelan rigidez: Aunque los jueces podían seguir fácilmente una política absurda (deportes de pelota = inseguros) cuando la tarea era ortogonal a la seguridad, tuvieron dificultades cuando la nueva política entraba en conflicto con sus límites de seguridad aprendidos.
• El encuadre de la tarea importa: La direccionalidad aumentó significamente (en más de 2 veces) cuando la evaluación de seguridad se reencuadró como una tarea de clasificación arbitraria (A vs. B) sin la palabra "seguridad". Esto sugiere que la rigidez proviene del límite de seguridad interno del modelo más que de una incapacidad para entender instrucciones.
• La direccionalidad depende del modelo: Al igual que la susceptibilidad, la direccionalidad varía según el modelo, pero no se correlaciona con la precisión del acuerdo con humanos o la susceptibilidad.

Significado y Reivindicaciones

El artículo sostiene que las prácticas de evaluación actuales, que se centran únicamente en el acuerdo con humanos en entornos estáticos y alineados, proporcionan una "falsa sensación de seguridad". Los autores introducen la susceptibilidad y la direccionalidad como propiedades esenciales, previamente pasadas por alto, para evaluar los jueces de seguridad.

Las reivindicaciones clave incluyen:

• La seguridad es contextual, los jueces no lo son: Mientras que las políticas de seguridad varían según la cultura, el dominio y el tiempo, los jueces de LLM generalmente no se adaptan a estas variaciones. Tienden a aplicar los límites de seguridad en los que fueron extensamente entrenados mediante postentrenamiento, independientemente de las instrucciones proporcionadas en el prompt.
• El aprendizaje contextual es condicional: Los jueces pueden aprender de la nueva información, pero solo cuando su conocimiento previo sobre el tema es débil. Son robustos ante demostraciones engañosas y contexto irrelevante.
• Los criterios de selección deben cambiar: Los profesionales no pueden confiar en un único "mejor" juez basado en la precisión. En su lugar, la elección del juez debe ser impulsada por el escenario de despliegue:
  • Para tareas que requieren adaptación a información novedosa (por ejemplo, desinformación en tiempo real), se prefiere un juez susceptible.
  • Para tareas que requieren la adhesión a políticas culturales o empresariales específicas, se requiere un juez direccional (steerable).
  • Si se confía en la política interna del modelo base, las métricas de acuerdo con humanos son suficientes, pero las instrucciones y demostraciones pueden ser ignoradas.

Los autores concluyen que la comunidad debe ir más allá de los benchmarks estáticos para evaluar exhaustivamente las propiedades combinadas de susceptibilidad, direccionalidad y precisión para asegurar que los sistemas de seguridad sean robustos y adaptables en el mundo real.