Training LLMs to Enforce Multi-Level Instruction Hierarchies via Gravity-Weighted Direct Preference Optimization

Resumen Técnico: Entrenamiento de LLMs para la Aplicación de Jerarquías de Instrucciones Multinivel mediante la Optimización de Preferencias Directas con Pesado de Gravedad

Planteamiento del Problema
Los Modelos de Lenguaje de Gran Escala (LLMs) de producción procesan actualmente instrucciones de fuentes con niveles de confianza muy distintos —que van desde políticas de seguridad inmutables de la plataforma y prompts de sistema del desarrollador hasta consultas de usuarios finales y salidas de herramientas potencialmente adversarias—. Arquitectónicamente, estas entradas se concatenan en una única secuencia de tokens donde cada token recibe una atención uniforme, un estado descrito como ejecución en "modo kernel". Esta uniformidad estructural crea una vulnerabilidad ante la inyección de prompts, donde entradas maliciosas secuestran el comportamiento del modelo, y deja a los modelos sin un mecanismo principista para resolver conflictos entre instrucciones legítimas pero competidoras de diferentes niveles jerárquicos. Aunque trabajos previos han propuesto defensas basadas en entrenamiento, los enfoques existentes suelen formalizar jerarquías de solo tres o cuatro niveles, tratan todas las violaciones con la misma severidad y no evalúan el conjunto completo de interacciones de pares de niveles requeridas por las arquitecturas de despliegue modernas (por ejemplo, el modelo de cinco niveles de partes interesadas de OpenAI).

Metodología
Los autores formalizan un problema de jerarquía de instrucciones de $k$ niveles, instanciándolo para $k=5$ niveles:

1. L0 (Gobernanza de la Plataforma): Reglas de seguridad inmutables.
2. L1 (Prompt de Sistema del Desarrollador): Persona y alcance.
3. L2 (Configuración por Usuario): Preferencias de sesión.
4. L3 (Mensaje del Usuario): Entrada en tiempo de ejecución.
5. L4 (Salidas de Datos/Herramientas): Contenido externo.

Esta estructura genera diez relaciones de prioridad de pares distintos que un modelo conforme debe hacer cumplir. Para entrenar a los modelos para que respeten estas relaciones, el artículo introduce la Optimización de Preferencias Directas con Pesado de Gravedad (GW-DPO).

• Función de Pérdida: GW-DPO adapta el Offset-DPO (ODPO) introduciendo un desplazamiento por muestra $\delta(i, j)$ que escala con la distancia estructural entre los niveles en conflicto. La pérdida se define como:
  $$L_{GW-DPO} = -\mathbb{E} \left[ \log \sigma \left( \beta \cdot \Delta r_\theta(x, y_w, y_l) - \delta(i, j) \right) \right]$$
  donde $\Delta r_\theta$ es el margen de recompensa implícito.
• Programas (Schedules): Se evalúan dos programas para $\delta(i, j)$:
  • Lineal: Depende únicamente de la brecha de privilegio ($j-i$).
  • Bilateral: Factoriza tanto la brecha de privilegio como el privilegio del nivel víctima ($k-1-i$), efectivamente ponderando la severidad de una violación según la "gravedad" del nivel comprometido.
• Modificaciones Arquitectónicas: El flujo de entrenamiento integra dos componentes de investigaciones previas:
  • Tokens Delimitadores Especiales: Tokens de inicio/fin distintos para cada nivel jerárquico para marcar los límites.
  • Embeddings de Segmento Instruccional (ISE): Embeddings aprendibles por token indexados por el nivel jerárquico, añadidos a los embeddings de los tokens.
• Flujo de Entrenamiento: El proceso implica un enfoque de dos fases:
  1. SFT (Ajuste Fino Supervisado): Enseña al modelo a reconocer delimitadores e integrar la información de ISE utilizando un conjunto de datos de prompts alineados, parciales y trivialmente desalineados.
  2. GW-DPO: Utiliza una estrategia de aprendizaje por currículo (de fácil a difícil basado en la brecha jerárquica) para optimizar el objetivo de preferencia en un conjunto de datos que contiene conflictos explícitos entre niveles.

Contribuciones Clave

1. Formalización de la Jerarquía de $k=5$: El artículo define una jerarquía de cinco niveles fundamentada en arquitecturas de producción, generando un conjunto de evaluación personalizado que prueba las diez relaciones de prioridad de pares.
2. DPO con Pesado de Gravedad: La introducción de GW-DPO, específicamente el programa bilateral, que escala el margen de entrenamiento basándose tanto en la distancia entre los niveles en conflicto como en el privilegio del nivel víctima. Este enfoque mejora en términos de Pareto respecto al DPO estándar y a la variante lineal.
3. Aislamiento de Componentes vía Ablaciones: El estudio aísla las contribuciones de ISE y la profundidad de la jerarquía:
   • ISE se identifica principalmente como un calibrador del umbral de rechazo. Eliminar ISE deja la precisión de resolución de conflictos mayormente intacta, pero provoca un aumento de un orden de magnitud en el sobre-rechazo (rechazar prompts benignos), lo que sugiere que el ISE ayuda al modelo a distinguir entre spans adversarios estructurados y spans benignos estructurados sin alterar el razonamiento de conflicto subyacente.
   • Entrenamiento de Cinco Niveles vs. Tres Niveles: La comparación revela un intercambio entre generalidad y especialización. El entrenamiento de tres niveles (colapsando L0-L2 en un nivel de "Sistema") logra puntuaciones más altas en pares de conflictos específicos mediante el reconocimiento de la forma superficial, pero retrocede en la generalización a prompts de texto plano y falla en resolver conflictos intra-sistema (ej. L1 vs. L2) que carecen de pistas superficiales.

Resultos
Evaluado en Llama-3.1-8B-Instruct, la configuración GW-DPO (bilateral) logró lo siguiente:

• Resolución de Conflictos: Alcanzó la mayor Adherencia de Prioridad de Pares Macroe ($PPA_{macro} = 0.838$) y Puntuación de Jerarquía Ponderada ($WHS = 0.885$), superando al DPO estándar y a la variante lineal.
• Sobre-Rechazo: Mantuvo una Tasa de Sobre-Rechazo (ORR) de 0.057, aproximadamente la mitad de la tasa del DPO estándar (0.120) y significativamente menor que la configuración Sin-ISE (0.576).
• Generalización: En divisiones de referencia de texto plano (eliminando delimitadores), GW-DPO (bilateral) mantuvo un fuerte desempeño ($PPA_{ref} = 0.793$), aunque ligeramente inferior a la variante lineal, indicando una robusta internalización de la semántica jerárquica.
• Benchmarks Externos:
  • XSTest: Mostró una mejor calibración en prompts seguros en comparación con el DPO estándar, aunque con un compromiso en el manejo de prompts "seguros pero inusuales".
  • SEP (Separación Instrucción-Datos): Logró una tasa de ejecución de sonda de 0.118, una mejora de ~5x sobre el modelo base, demostrando una separación efectiva de instrucciones de datos.
  • TensorTrust: Alcanzó una tasa de robustez de 0.818, superando significativamente al modelo base (0.212), aunque ligeramente inferior al DPO estándar (0.906), reflejando el compromiso de calibración.
  • MT-Bench: Preservó la utilidad general de asistente de chat, con GW-DPO (bilateral) puntuando 7.425, comparable o superior al ancla predeterminado.

Significancia y Reivindicaciones
El artículo afirma que los márgenes estructurales, específicamente el programa bilateral en GW-DPO, sirven como una palanca útil y complementaria para el cumplimiento de la jerarquía. Los autores aseguran que su receta está lista para escalar a un $k$ más alto a medida que las arquitecturas de despliegue se vuelvan más estratificadas.

Crucialmente, el artículo plantea la elección entre el entrenamiento de tres niveles y el de cinco niveles no como una simple cuestión de orden, sino como un intercambio entre generalidad y especialización. El entrenamiento de cinco niveles preserva la capacidad de resolución en reescrituras de texto plano y mantiene el sobre-rechazo calibrado, mientras que el entrenamiento de tres niveles ofrece una maestría más estrecha de subconjuntos específicos mediante correlaciones de forma superficial. Los autores enfatizan que el programa bilateral es la única configuración que mejora simultáneamente la resolución de conflictos y reduce el sobre-rechazo en comparación con el programa lineal, alineándose con las restricciones de "no escribir" de los modelos de seguridad clásicos (Biba, 1977).

El trabajo concluye que, si bien la receta defiende eficazmente contra la inyección de prompts y hace cumplir la jerarquía, no es una defensa adversaria completa contra atacantes motivados y requiere una consideración cuidadosa de la política respecto a la supresión de las preocupaciones del usuario en favor de las prioridades organizacionales.