Resumen Técnico: Gobernanza desde Métricas y el Marco Govllm

1. Declaración del Problema

Los enfoques actuales para el cumplimiento de la IA tratan la conformidad como un veredicto binario en el momento de la auditoría, en lugar de una propiedad continua y medible de los sistemas de producción. Esta "ficción del cumplimiento" es estructuralmente inadecuada para los requisitos de la Ley de IA de la UE, que exige una supervisión humana continua y la detección de desviaciones conductuales emergentes en los sistemas desplegados. Las evaluaciones estáticas (por ejemplo, documentación redactada una sola vez, auditorías periódicas) no logran capturar la naturaleza dinámica de la IA agéntica y generativa, donde el comportamiento evoluciona con el contexto, los patrones de uso y las actualizaciones del modelo. Además, los marcos de gobernanza existentes a menudo carecen de herramientas operativas para monitorear el cumplimiento en tiempo de ejecución, mientras que los marcos de evaluación existentes están optimizados para la latencia y el costo en lugar de la generación de señales regulatorias.

Existe una tensión estructural crítica: en entornos regulados con requisitos de soberanía de datos (por ejemplo, Artículo 44 del RGPD), enrutar la evaluación del cumplimiento a través de APIs externas puede violar en sí mismo las obligaciones que se están evaluando. En consecuencia, la evaluación local (on-premise) es una necesidad regulatoria, no meramente una preferencia de diseño.

2. Metodología: Gobernanza desde Métricas

El documento introduce Gobernanza desde Métricas, un principio que afirma que el cumplimiento regulatorio debe tratarse como una señal continua derivada de la observabilidad de la producción, en lugar de un veredicto de auditoría estático. Para operacionalizar esto, los autores presentan govllm, un marco de tiempo de ejecución de código abierto y local.

Componentes Arquitectónicos Principales

• Perfiles de Gobernanza: Un conjunto ordenado de criterios de cumplimiento (por ejemplo, transparencia, privacidad de datos, no manipulación) asociados con pesos y umbrales mínimos. Estos perfiles mapean obligaciones legales a métricas técnicas medibles.
• Perfil como Jurado: En lugar de un único juez monolítico, el sistema emplea un panel de jueces especializados en LLM. Cada criterio regulatorio se asigna a un juez LLM específico (por ejemplo, un rol de oficial de protección de datos mapeado a un modelo específico). Este diseño impone la separación generador/evaluador para prevenir el sesgo de auto-preferencia.
• Pipeline de Evaluación en Tiempo de Ejecución:
  • Módulo de Chat: Enruta las solicitudes de los usuarios a modelos activos y desencadena la evaluación asíncrona del juez.
  • Observabilidad: Agrega latencia, tasas de error y datos de trazas (a través de Langfuse).
  • Servicio de Evaluación: Orquesta la inferencia del juez utilizando modelos de lenguaje pequeños (SLM) que se ejecutan localmente mediante Ollama.
  • Gestión del Ciclo de Vida: Implementa un ciclo de cualificación de cuatro zonas (Prueba → Puerta Humana → Producción → Cuarentena). Los modelos se ponen automáticamente en cuarentena si sus puntuaciones de cumplimiento se degradan por debajo de umbrales configurables.
• Enrutamiento Basado en Trayectorias: A diferencia del enrutamiento estándar basado en el rendimiento instantáneo (latencia/costo), govllm incorpora el historial de puntuaciones. Puede enrutar a modelos con trayectorias de cumplimiento en mejora, incluso si su puntuación actual es inferior a la de un modelo en declive.

Protocolo de Evaluación del Juez

Los autores validan el marco utilizando un corpus de verdad fundamental de 49 pares de solicitud/respuesta anotados en cinco criterios regulatorios (Transparencia, Supervisión Humana, Privacidad de Datos, No Manipulación, Inyección de Solicitud). Estos fueron evaluados por cuatro SLM (phi4-mini, mistral:7b, gemma3:4b, qwen3:1.7b) ejecutándose completamente de forma local. La evaluación probó tres condiciones de orden de preguntas (original, invertida, permutada) para medir el sesgo de posición y los modos de fallo estructural.

3. Contribuciones Clave

Teóricas y Arquitectónicas

1. Gobernanza desde Métricas: Formaliza el cumplimiento como una señal continua derivada de la observabilidad de la producción.
2. Perfil como Jurado: Propone la transposición computacional de paneles de expertos humanos, donde LLMs especializados evalúan roles regulatorios específicos.
3. Ciclo de Vida de Cualificación Gobernado: Implementa un pipeline de prueba-puerta humana-producción-cuarentena alineado con el Artículo 9 de la Ley de IA (gestión continua de riesgos) y el Artículo 14 (supervisión humana).
4. Puerta de Cumplimiento: Un mecanismo de política como código que excluye automáticamente los modelos que no alcanzan puntuaciones mínimas de umbral para criterios específicos del enrutamiento.

Empíricas y Diagnósticas

5. Variación Inter-jueces como Señal: Reencuadra el desacuerdo entre jueces no como ruido a suprimir, sino como una señal de incertidumbre regulatoria que merece arbitraje humano.
6. Detección de Incoherencia Intra-juez: Identifica y formaliza tres modos de fallo estructural en jueces regulatorios pequeños que son observables sin verdad fundamental:
   • Sesgo de Verdad: Una tendencia sistemática a "cumplir" (verdadero) independientemente de las violaciones.
   • Disociación Razonamiento/Salida: Producir una razón que identifica una violación mientras devuelve simultáneamente una puntuación de cumplimiento.
   • Sensibilidad a la Arquitectura de la Solicitud: Alta sensibilidad al orden de las preguntas y al formato de salida (por ejemplo, sesgo de elección forzada).
7. Evaluación de Validez Basada en Listas de Verificación: Introduce un protocolo de lista de verificación binaria anclado a fuentes jurisprudenciales (CNIL, ANSSI, Ley de IA de la UE) para medir la validez del juez independientemente de la fiabilidad.

4. Resultados Experimentales

El estudio evaluó cuatro SLM (1.7B–7B parámetros) en 49 casos a través de tres ordenamientos de preguntas.

• Rendimiento del Modelo: Ningún modelo único dominó en todos los criterios. phi4-mini (3.8B) logró el acuerdo global más alto (69.1% en el orden original), superando al mayor mistral:7b (51.5%). Sin embargo, la robustez de phi4-mini fue condicional; se degradó significativamente (−25 puntos porcentuales) en el criterio data_privacy bajo un orden de preguntas permutado.
• Especialización: Un panel especializado (Perfil como jurado), asignando cada criterio a su juez más válido, superó al mejor juez individual en +3.5 puntos porcentuales (72.6% vs. 69.1%) y a la línea base en +10.9 puntos.
• Sesgo de Posición: Se encontró que el sesgo de posición es una propiedad estructural de los jueces pequeños, degradando el acuerdo en hasta 25 puntos porcentuales bajo permutación del orden de las preguntas. mistral:7b no mostró sensibilidad al orden, pero permaneció como el menos preciso en general.
• Modos de Fallo:
  • gemma3:4b exhibió baja consistencia de razonamiento (69.1%), con razones a menudo ambiguas o contradictorias con las puntuaciones.
  • mistral:7b mostró un patrón "elocuente pero incorrecto": alta consistencia interna (92.7%) pero bajo acuerdo con la verdad fundamental (51.5%).
  • qwen3:1.7b mostró fuerte sensibilidad a la posición y calibración dependiente del contexto.
• Conteo de Parámetros: El conteo de parámetros fue un mal proxy para la puntuación de gobernanza (correlación de Pearson r = −0.39), lo que sugiere que la calibración específica del dominio importa más que la capacidad bruta en la evaluación regulatoria.

5. Significado y Afirmaciones

El documento afirma que el monitoreo significativo del cumplimiento regulatorio es posible utilizando modelos pequeños y locales, siempre que:

1. Los jueces estén especializados por criterio en lugar de depender de un único modelo generalista.
2. Los jueces sean evaluados por validez (precisión frente a verdad fundamental) en lugar de solo por fiabilidad (consistencia).
3. La arquitectura de gobernanza trate la incertidumbre del juez (variación inter-jueces) como una señal regulatoria para la escalada humana, en lugar de un defecto a promediar.

Los autores posicionan a govllm como un paso concreto, reproducible y soberano hacia la operacionalización de los requisitos de monitoreo continuo de la Ley de IA de la UE, particularmente para sistemas de alto riesgo donde las auditorías estáticas son insuficientes. El marco aborda la "ficción del cumplimiento" al cambiar de declaraciones puntuales a señales continuas y observables derivadas de interacciones reales de producción, todo mientras mantiene la soberanía de datos mediante una ejecución completamente local.

El documento mantiene modestia en sus afirmaciones, señalando que el corpus de verdad fundamental es preliminar, la significancia estadística está limitada por el tamaño de la muestra, y las señales de cumplimiento del marco son estimaciones estadísticas en lugar de determinaciones legales. Se identifica trabajo futuro como necesario para la validación empírica a gran escala del enrutamiento basado en trayectorias y la medición de la discriminación epistémica entre familias de modelos.