Hierarchical Alignment: Enforcing Hierarchical Instruction-Following in LLMs through Logical Consistency

1. El Problema: Conflictos de Instrucciones en Escenarios Reales

Los Grandes Modelos de Lenguaje (LLM) operan cada vez más en entornos complejos donde reciben múltiples instrucciones simultáneas de fuentes heterogéneas con diferentes niveles de autoridad:

• Fuentes: Políticas del sistema, solicitudes del usuario, salidas de herramientas (tools), documentos recuperados y contexto de conversación.
• El Desafío: Aunque el trabajo previo ha abordado la jerarquía de instrucciones principalmente para defenderse de ataques adversarios (inyección de prompts, jailbreaks), existe un vacío en el manejo de conflictos benignos pero comunes en aplicaciones reales.
  • Ejemplo: Una instrucción del sistema exige salida en formato JSON, mientras que el usuario pide explícitamente texto plano. O bien, una herramienta proporciona datos que contradicen las preferencias del usuario.
• Limitación Actual: Los modelos actuales a menudo fallan al resolver estos conflictos, violando las prioridades de autoridad (por ejemplo, ignorando las reglas del sistema para complacer al usuario) o perdiendo utilidad en la tarea. El objetivo es lograr que el modelo respete la jerarquía (Sistema > Usuario > Herramientas) manteniendo la coherencia y la utilidad de la respuesta.

2. Metodología: Neuro-Symbolic Hierarchical Alignment (NSHA)

Los autores proponen NSHA, un marco que integra razonamiento simbólico y aprendizaje neuronal para resolver conflictos de instrucciones. El enfoque se divide en dos fases:

A. Inferencia Guiada por Solutores (Inference-Time)

En esta fase, el modelo utiliza un solucionador externo para tomar decisiones lógicas antes de generar la respuesta:

1. Atomización: Un módulo descompone el contexto de entrada (sistema, usuario, herramientas) en un conjunto de instrucciones atómicas discretas, cada una etiquetada con su nivel de autoridad (0: Sistema, 1: Usuario, 2: Herramientas/Otros).
2. Detección de Conflictos Neuronal: Se utiliza un modelo de Inferencia de Lenguaje Natural (NLI) preentrenado para escaneear pares de instrucciones y construir una matriz de conflictos. Identifica si dos instrucciones son semánticamente contradictorias (ej. "formato JSON" vs. "texto plano").
3. Optimización Jerárquica (MaxSMT): Los conflictos y las restricciones de autoridad se formulan como un problema de satisfacción de restricciones (CSP) y se resuelven utilizando un solucionador SMT (Satisfiability Modulo Theories), específicamente Z3.
   • El objetivo es encontrar el subconjunto máximo de instrucciones aplicables que sea lógicamente consistente y respete estrictamente el orden de autoridad (las instrucciones de menor autoridad no pueden anular a las de mayor autoridad).
4. Generación Guiada: El conjunto de instrucciones seleccionado por el solucionador se utiliza para refinar el prompt y guiar la generación del LLM, asegurando que la salida cumpla con las restricciones de alta prioridad.

B. Entrenamiento de Alineación Jerárquica (Training-Time)

Para eliminar la dependencia de solucionadores externos durante la inferencia en producción, NSHA "distila" la lógica del solucionador en los parámetros del modelo:

1. Construcción de Datos: Se genera un dataset sintético a partir del corpus Alpaca. Se crean contextos con instrucciones alineadas y contextos con conflictos intencionales.
2. Etiquetado Automático: El solucionador Z3 se utiliza para determinar cuál es la respuesta "aceptada" (que sigue la jerarquía correcta) y cuál es la "rechazada" (que viola la jerarquía).
3. Función de Pérdida (HCAL): Se entrena el modelo con una función de pérdida compuesta que incluye:
   • Pérdida de preferencia (similar a DPO) para clasificar la respuesta correcta sobre la incorrecta.
   • Pérdida Semántica (Semantic Loss): Penaliza explícitamente la probabilidad asignada a respuestas que violan la jerarquía, forzando al modelo a concentrar la masa de probabilidad en resultados que satisfacen las restricciones lógicas.

3. Contribuciones Clave

1. Enfoque en Conflictos Benignos: A diferencia de la literatura previa centrada en seguridad ofensiva, este trabajo aborda sistemáticamente los conflictos cotidianos entre prioridades de instrucciones en aplicaciones de agentes.
2. Marco Neuro-Simbólico Integrado: Propone una solución híbrida que combina la capacidad de generalización de los LLMs con la verifiabilidad y el rigor lógico de los solucionadores SMT.
3. Mecanismo de Distilación: Desarrolla un método para internalizar el razonamiento jerárquico en el modelo, permitiendo un despliegue eficiente sin necesidad de solucionadores externos en tiempo de inferencia.
4. Evaluación Exhaustiva: Presenta una evaluación rigurosa en cuatro dominios: seguimiento de reglas, ejecución de tareas, uso de herramientas y seguridad, cubriendo interacciones de un solo turno y múltiples turnos.

4. Resultados Experimentales

Los experimentos se realizaron en modelos como Qwen3-4B y Llama-3.1-8B, comparando variantes de NSHA (SFT, DPO, HCAL) contra líneas base y métodos de razonamiento (CoT, NS puro).

• Seguimiento de Reglas (Rule Following):
  • Los modelos base sufren caídas drásticas en escenarios de conflicto (ej. de ~90% a ~20-30% en Llama).
  • NSHA-DPO mostró el mejor rendimiento, mejorando significativamente la precisión en conflictos (ej. subiendo a ~47% en Llama y ~36% en Qwen) mientras mantenía un alto rendimiento en escenarios de referencia (sin conflictos).
• Ejecución de Tareas (Task Execution):
  • En tareas como detección de idioma y traducción, los conflictos de instrucción degradaban severamente la utilidad (caídas a casi 0%).
  • NSHA mitigó estas fallas, recuperando la utilidad del modelo en escenarios conflictivos, demostrando que se puede mantener la funcionalidad de la tarea respetando la jerarquía.
• Uso de Herramientas (Tool Use):
  • El enfoque de inferencia simbólica (NS) mejoró la robustez al desacoplar la interpretación de la ejecución.
  • NSHA-HCAL logró el mejor rendimiento en Llama para el uso de herramientas bajo conflicto.
• Seguridad:
  • La alineación jerárquica mejoró la robustez contra ataques de "hijack" de prompts y extracción de prompts del sistema, manteniendo las defensas incluso cuando el usuario intenta forzar una salida no segura.
• Robustez Multi-turno:
  • Un hallazgo crítico fue que los modelos fallan en mantener la consistencia a lo largo de múltiples turnos de conversación. NSHA demostró ser superior en mantener la prioridad del sistema a lo largo de interacciones prolongadas, evitando la "deriva jerárquica".

5. Significado e Impacto

Este trabajo es fundamental para el desarrollo de sistemas de agentes autónomos en el mundo real. A medida que los LLMs se integran en flujos de trabajo complejos que involucran políticas corporativas, preferencias de usuarios y salidas de herramientas, la capacidad de resolver conflictos de instrucciones de manera lógica y jerárquica es esencial para:

• Fiabilidad: Garantizar que los sistemas no violen reglas críticas (como formatos de datos o políticas de seguridad) bajo presión de solicitudes de usuario.
• Seguridad: Prevenir que las interacciones benignas pero contradictorias degraden el comportamiento del modelo o lo lleven a estados inseguros.
• Escalabilidad: Proporcionar un marco que permite a los modelos aprender a priorizar instrucciones sin necesidad de intervención humana constante o solucionadores externos costosos en producción.

En resumen, NSHA establece un nuevo estándar para la alineación de LLMs, demostrando que la integración de razonamiento lógico simbólico con el aprendizaje profundo es la vía para lograr agentes inteligentes, seguros y consistentes en entornos de instrucciones múltiples.