A Four-Axis Trustworthiness Benchmark for LLM-as-Judge in Principle-Based Regulation

Resumen Técnico: Un Benchmark de Confiabilidad de Cuatro Ejes para LLM-as-Judge en la Regulación Basada en Principios

Planteamiento del Problema
Los sistemas de cumplimiento automatizados actuales en dominios de alto riesgo (finanzas, salud, sistemas autónomos) dependen predominantemente de un paradigma de "basado en reglas", tratando las regulaciones como cláusulas de Horn: predicados binarios que se satisfacen o se violan. Sin embargo, los marcos regulatorios modernos, como el Consumer Duty de la Autoridad de Conducta Financiera (FCA) del Reino Unido y COBS 4.5A.3R, utilizan la regulación basada en principios. Estos estándares (por ejemplo, "justo, claro y no engañoso" o "entregar buenos resultados") son evaluativos y basados en resultados, lo que resiste la reducción a una lógica binaria. Una promoción puede contener todos los avisos legales requeridos y, aun así, resultar engañosa en su conjunto.

Si bien los Modelos de Lenguaje de Gran Escala (LLM) se despliegan cada vez más como "LLM-as-Judge" (LLM como juez) para evaluar estos principios, presentan brechas de confiabilidad significativas: suelen ser opacos, carecen de una calibración adecuada por defecto, carecen de justificaciones por cada ejemplo para la interrogación regulatoria y son vulnerables al juego adversarial (adversarial gaming). El artículo sostiene que, para un despliegue seguro, un juez-LLM no debe ser evaluado solo en términos de precisión agregada, sino a través de cuatro ejes específicos: precisión, robustez ante paráfrasis, robustez adversarial y calibración.

Metodología y Contribuciones
El artículo introduce dos contribuciones primarias para operacionalizar esta evaluación de cuatro ejes:

1. Principle-Bench: El primer benchmark diseñado específicamente para la evaluación regulatoria basada en principios.

   • Alcance: Contiene 168 escenarios mapeados a dos principios de la FCA del Reino Unido: COBS 4.5A.3R ("justo, claro y no engañoso") y PRIN 2A/FG22–5 Consumer Duty ("entregar buenos resultados").
   • Estructura: El conjunto de datos se divide en cuatro divisiones:
     • Original (100): Escenarios generados a partir de resúmenes preparados por los autores de material público de la FCA.
     • Paráfrasis (30): Reescrituras con $\le$ 5 tokens de contenido compartidos con cualquier ejemplar.
     • Adversarial (28): Entradas con "relleno de palabras clave" (keyword-stuffed) donde se insertan afirmaciones fácticas cortas de forma literal en promociones sustantivamente no conformes para invertir el veredicto.
     • Límite (10): Casos cercanos al umbral.
   • Integridad: La rúbrica de evaluación fue pre-registrada (con etiqueta git) antes de que cualquier escenario fuera puntuado o etiquetado, asegurando un registro a prueba de manipulaciones.

2. Ceca (Calibrated Exemplar-Cluster Assessment): Una alternativa de transparencia por diseño frente a los jueces-LLM opacos.

   • Mecanismo: Ceca utiliza un codificador de transformador de oraciones (sentence-transformer) intercambiable para calcular la confianza bruta del clúster basada en la similitud de coseno media entre la entrada y los clústeres de ejemplares positivos/negativos.
   • Calibración: Los puntajes brutos se mapean a una probabilidad calibrada $s \in [0, 1]$ mediante el escalado de Platt en una división de desarrollo.
   • Auditabilidad: Como función de forma cerrada del conjunto de ejemplares, Ceca emite atribuciones contrafácticas exactas ($\Delta_e = s - s_{\setminus e}$), mostrando exactamente qué ejemplar impulsó el veredicto y cómo cambiaría el puntaje si ese ejemplar fuera eliminado.
   • Cascada: Un enfoque híbrido donde Ceca actúa como el primario; si su confianza cae dentro de una banda de incertidumbre ajustada, delega a un juez-LLM.

Configuración Experimental
El autor evaluó seis métodos a través de los cuatro ejes:

• Conteo de Palabras Clave (Keyword Counting): Un enfoque determinista de bolsa de clústeres.
• Transformadores de Oraciones (Sentence-Transformers): Tres codificadores (MiniLM, BGE, Ollama-mxbai).
• Juez-LLM (LLM-Judge): Un modelo de pesos abiertos (gpt-oss:120b) con un prompt que incluye el texto del principio y los ejemplares.
• Cascada (Cascade): Palabra clave como primario con respaldo de juez-LLM.

Las métricas incluyeron precisión, F1, AUC, Error de Calibración Esperado (ECE) y $\kappa$ de Cohen para el acuerdo entre jueces.

Resultados Clave
El estudio encuentra que ningún método único domina los cuatro ejes, revelando un compromiso crítico entre el rendimiento en entradas benignas y la robustez ante la manipulación adversarial.

• Rendimiento Benigno: En entradas originales (benignas), el juez-LLM y la Cascada superan significativamente a los transformadores de oraciones y al conteo de palabras clave. Por ejemplo, en COBS, el juez-LLM logró una precisión de 0.96 frente al 0.50 de los codificadores.
• Fallo del "Teatro de Cumplimiento" (Compliance Theatre): El juez-LLM es altamente susceptible al juego adversarial. En el principio de Consumer Duty, cuando se enfrenta a entradas con relleno de palabras clave, la precisión del juez-LLM colapsó de 0.74 a 0.27 (una caída de 47 puntos). El modelo sobrevaloró las afirmaciones fácticas superficiales insertadas en textos sustantivamente no conformes, aprobando efectivamente la promoción.
• Paradoja de la Robustez Adversarial: Contraintuitivamente, los codificadores de transformadores de oraciones no calibrados fueron los más robustos en la división adversarial de Consumer Duty (0.67 de precisión). Debido a que no pudieron "leer" las frases inyectadas como evidencia semántica, fueron ciegos a la manipulación que engañó al LLM.
• Vulnerabilidad del Lado del Modelo: El acuerdo entre jueces (inter-judge agreement) entre el juez gpt-oss:120b y un juez de otra familia (kimi-k2.6) colapsó a $\kappa=0.16$ en la división adversarial de Consumer Duty, confirmando que el fallo es inherente a la arquitectura del modelo y no un artefacto del corpus.
• Necesidad de Calibración: Las confianzas brutas de los LLM estaban polarizadas (ECE 0.22–0.27). El escalado de Platt post-hoc redujo el ECE de prueba a 0.04–0.10, demostando que la calibración es opcional para el despliegue regulatorio.
• Auditabilidad: Se encontró que la atribución contrafáctica de Ceca era fiel; eliminar el ejemplar con mayor atribución cambió los puntajes significativamente (10 veces el efecto de un ejemplar aleatorio) y cambió los veredictos en el 4% de las entradas, permitiendo a los reguladores impugnar la evidencia específica.

Significancia y Reivindicaciones
El artículo argumenta que el juez-LLM "más fuerte" en benchmarks benignos es a menudo el que se deja engañar más fácilmente, un fallo de confiabilidad invisible para las métricas de precisión general.

• Requisito de Despliegue: Cualquier juez-LLM de grado de despliegue para la regulación basada en principios debe reportar tasas de engaño adversarial por principio y calibración post-hoc junto con la precisión agregada.
• Auditabilidad: Los veredictos deben estar emparejados con una capa de atribución auditable y contestable (como Ceca) en lugar de razonamientos narrativos opacos.
• Generalizabilidad: La metodología (rúbricas pre-registradas, fundamentación de semillas, suites de perturbación) es aplicable a otros dominios basados en principios, como el "consentimiento informado" en la salud o la "seguridad razonable" en vehículos autónomos.

El autor concluye que la evaluación de LLM segura y confiable para la gobernanza no puede depender solo de la precisión agregada; debe fundamentarse en evidencia de múltiples ejes que exponga las vulnerabilidades al engaño adversarial y la falta de calibración.