Resumen Técnico: Validación de la Puntuación Comparativa de Seguridad de LLM sin Etiquetas de Verdad Terrestre

1. Formulación del Problema

El artículo aborda una brecha crítica en el despliegue de Modelos de Lenguaje Grande (LLM): la necesidad de comparar modelos candidatos para la seguridad en idiomas, sectores o regímenes regulatorios específicos donde no existe un punto de referencia de seguridad anotado con verdad terrestre.

En muchos escenarios de despliegue (por ejemplo, una agencia del sector público noruega pilotando un modelo local), los equipos deben decidir qué modelo es más seguro bajo restricciones específicas sin acceso a conjuntos de datos etiquetados. Los paradigmas existentes no abordan esto completamente:

• Puntos de referencia estáticos: Requieren etiquetas de verdad terrestre, a menudo son centrados en inglés y congelan la evaluación en el momento del lanzamiento.
• Auditoría orientada al descubrimiento: (por ejemplo, red-teaming automatizado) genera transcripciones e hipótesis, pero carece de un mecanismo de puntuación comprometido y repetible con cuantificación de incertidumbre adecuado para la contratación.
• LLM como juez: Aunque las comparaciones por pares son más fiables que las puntuaciones absolutas, heredan sesgos e inestabilidad. Sin una cadena de validación, las puntuaciones no pueden defenderse como evidencia de diferencias de seguridad en lugar de artefactos del aparato de auditoría.

Los autores definen este espacio como puntuación comparativa de seguridad sin puntos de referencia. El desafío central es producir evidencia comparativa defendible (puntuaciones, deltas, tasas críticas) sin etiquetas de verdad terrestre, asegurando que el instrumento responda al comportamiento objetivo y no al ruido o a artefactos del auditor/juez.

2. Metodología: La Cadena de Validez Instrumental

Para validar un instrumento de puntuación en ausencia de verdad terrestre, los autores proponen una cadena de validez instrumental. Esta cadena reemplaza el acuerdo con la verdad terrestre con tres requisitos específicos:

1. Capacidad de respuesta: La herramienta debe distinguir entre un contraste conocido relevante para la seguridad. Los autores utilizan un contraste seguro-vs-abliterated (comparando un modelo alineado con la seguridad frente a una variante con capacidad coincidente donde el comportamiento de rechazo ha sido ablacionado a través de la dirección de rechazo).
2. Sensibilidad al objetivo (Dominancia de la varianza): La varianza en las puntuaciones debe ser impulsada principalmente por el modelo objetivo, no por artefactos del auditor (sonda) o juez (calificador). Esto se cuantifica mediante la descomposición de la varianza ($\eta^2$).
3. Reproducibilidad: Las puntuaciones deben estabilizarse a través de múltiples reejecuciones ($n$) para asegurar que los deltas entre objetivos no se vean oscurecidos por ruido estocástico.

La Implementación SimpleAudit

Los autores instan esta cadena en SimpleAudit, una biblioteca de Python y un instrumento de medición de prioridad local.

• Arquitectura: Separa tres roles independientes: Objetivo (T), Auditor (A) y Juez (J).
• Flujo de trabajo: Un paquete de escenarios inicializa una conversación; el Auditor genera sondas; el Objetivo responde; el Juez califica la transcripción con un veredicto estructurado (gravedad 0–4).
• Puntuación: Las etiquetas de gravedad se vuelven a mapear a una escala de 0–100. El instrumento reporta puntuaciones agregadas, deltas coincidentes ($\Delta$), tasas críticas (frecuencia de fallos graves) e intervalos de incertidumbre.
• Compromisos de diseño: Ejecución local (sin dependencia de API externa para datos sensibles), modularidad de roles, configuración explícita y paquetes de escenarios con versión.

3. Contribuciones Clave

El artículo hace seis contribuciones principales:

1. Definición de categoría: Identifica la "puntuación comparativa de seguridad sin puntos de referencia" como una categoría de evaluación distinta con su propio contrato de reclamación.
2. Marco de validación: Especifica la cadena de validez instrumental (capacidad de respuesta, sensibilidad al objetivo, reproducibilidad) requerida para validar tales herramientas.
3. Implementación de referencia: Introduce SimpleAudit, una herramienta que empaqueta escenarios fijos, rúbricas y roles en un instrumento repetible.
4. Validación empírica: Valida SimpleAudit en un paquete de seguridad noruego, demostrando que cumple con los tres requisitos de la cadena.
5. Verificación de generalización: Aplica la misma cadena de validación a Petri (una herramienta de auditoría orientada al descubrimiento), mostrando que la cadena admite a Petri también, siempre que se seleccionen dimensiones específicas.
6. Evidencia de despliegue: Demuestra la aplicación de este marco en un caso de contratación del sector público noruego que compara Borealis y Gemma 3.

4. Resultados Clave

Validación de SimpleAudit

• Capacidad de respuesta: SimpleAudit separa con éxito objetivos seguros y abliterated. En combinaciones confiables de juez-auditor, los valores de AUROC oscilan entre 0.89 y 1.00.
• Sensibilidad al objetivo: La descomposición de la varianza muestra que el modelo objetivo es el factor dominante ($\eta^2 \approx 0.52$), mientras que las contribuciones del auditor y el juez son sustanciales pero secundarias. Esto confirma que las puntuaciones reflejan el comportamiento objetivo y no artefactos del aparato.
• Reproducibilidad: Las puntuaciones se estabilizan rápidamente. Para 10 reejecuciones, la desviación absoluta media de la puntuación de referencia cae a aproximadamente 1 punto en una escala de 0–100, muy por debajo de los deltas que impulsan las decisiones de contratación.
• Perspectivas de configuración:
  • Selección del auditor: El auditor es el punto de diseño más crítico. Un auditor demasiado fuerte (por ejemplo, modelos de vanguardia) comprime las puntuaciones de objetivos seguros, borrando los deltas comparativos que el instrumento pretende reportar. El auditor debe coincidir con el rango de capacidades del objetivo.
  • Selección del juez: Aunque las puntuaciones absolutas varían según el juez, los deltas por pares permanecen estables. Los jueces con una tasa de fallo crítico cercana al 10% (relativa a una referencia de vanguardia) son viables para la gobernanza.
  • Eficiencia de costos: Establecer la capacidad del Juez igual a la del Auditor ($J=A$) es la configuración predeterminada recomendada, ahorrando tokens sin sacrificar la señal comparativa.

Comparación con Petri

• La cadena de validación admite también a Petri. Específicamente, la dimensión "preocupante" en Petri cumple con los tres requisitos (AUROC $\ge$ 0.99, dominancia del objetivo, estabilidad).
• Sin embargo, las herramientas difieren en sus contratos de reclamación aguas arriba. SimpleAudit impone un único paquete de escenarios comprometido y una regla de agregación, lo que la hace operativamente apta para la contratación. Petri ofrece flexibilidad para el descubrimiento, pero requiere que el usuario se comprometa con construcciones y reglas de agregación para generar puntuaciones comparables.

Caso de Estudio de Contratación Noruega

• Comparar Borealis y Gemma 3 a través de tamaños (1B–27B) reveló que "más seguro" no es una propiedad monolítica.
• Borealis generalmente mostró puntuaciones más altas y tasas críticas más bajas, pero la ventaja fue dependiente de la categoría (por ejemplo, fuerte en Salud y Sector Público, más débil en Idioma).
• Escalado: Las mejoras de seguridad se estabilizaron en 12B para algunas categorías, contradiciendo una regla simple de "más grande es más seguro".
• Conclusión: La evidencia respalda una visión matizada: el modelo más seguro depende de la categoría del escenario y de la medida de riesgo específica (puntuación media vs. tasa crítica).

5. Significado y Reclamaciones

El artículo afirma que la puntuación comparativa de seguridad sin puntos de referencia es una categoría de evaluación distinta, no una forma degradada de puntuación. Su significado radica en:

• Operacionalización de la seguridad para dominios regulados: Proporciona un método para que los equipos en entornos regulados (por ejemplo, sector público, idiomas no ingleses) generen evidencia comparativa defendible sin esperar puntos de referencia etiquetados.
• Cambio de clasificación a evidencia: Los autores argumentan en contra de colapsar los resultados en una sola tabla de clasificación. En cambio, la evidencia de despliegue válida consiste en un paquete: puntuaciones, deltas coincidentes, tasas críticas, intervalos de incertidumbre y verificaciones de sensibilidad, todo vinculado a una configuración de instrumento específica.
• Falsabilidad: Al declarar explícitamente el "contrato de reclamación" (instrumento fijo, paquete de escenarios, roles), la evaluación se vuelve falsable. Otros grupos pueden reejecutar el mismo instrumento o intercambiar componentes para desafiar los resultados.
• Gobernanza de prioridad local: El diseño asegura que los prompts, las transcripciones y las políticas no necesiten salir del entorno de despliegue, abordando las preocupaciones de soberanía de datos y privacidad en sectores regulados.

Los autores son modestos en sus afirmaciones: aprobar la cadena de validez instrumental es necesario pero no suficiente para el despliegue. Prueba que el instrumento funciona como una herramienta de medición, pero los expertos del dominio deben seguir juzgando si el paquete de escenarios captura el constructo real de despliegue. La contribución es la categoría y la cadena de validación, con SimpleAudit sirviendo como una implementación provisional para el nicho de contratación.