💬 NLP

SyRuP: Enhancing System-Prompt Following via Reward-Guided Prediction in LLM Decoding

El artículo presenta SyRuP, un marco de trabajo en tiempo de decodificación que mejora la adherencia de los Grandes Modelos de Lenguaje a los prompts del sistema mediante el entrenamiento de una cabeza de recompensa de atención cruzada para generar puntuaciones de adherencia a nivel de token para la reclasificación de candidatos sin requerir el ajuste del modelo base.

Autores originales: Seoyeon Kim, Minjae Kang, Jaehyung Kim

Publicado 2026-07-28

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Seoyeon Kim, Minjae Kang, Jaehyung Kim

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás hablando con un robot muy inteligente y culto que ha leído casi todos los libros de la biblioteca. Este robot es un Modelo de Lenguaje Extenso (LLM). Normalmente, cuando le haces una pregunta, responde basándose en su entrenamiento. Pero a veces, quieres darle un conjunto específico de reglas antes de que empiece a hablar. Podrías decir: "Actúa como un pirata gruñón", o "Responde solo con rimas", o "Nunca menciones la violencia". Estas reglas se llaman prompts de sistema (system prompts). Son como la descripción del puesto de trabajo o el disfraz que el robot usa para una conversación específica.

El problema es que estos robots están acostumbrados a seguir instrucciones que aparecen dentante de la conversación, no reglas establecidas en piedra antes de que comience el chat. Cuando las reglas se vuelven complicadas —como "sé un pirata, pero también usa gramática del siglo XIX, evita la letra 'e' y mantente divertido"— el robot suele olvidar las reglas a mitad de camino. Podría empezar hablando como un pirata y luego, de repente, cambiar a un adolescente moderno, o de olvidar evitar la letra 'e'. Los científicos han intentado solucionar esto reentrenando al robot (lo cual es costoso y lento) o tratando de adivinar la mejor respuesta después de que ya ha sido escrita (lo que es como editar una novela después de que el autor ya la ha terminado). La gran pregunta es: ¿Podemos guiar al robot para que siga estas reglas complejas mientras está escribiendo, sin cambiar su cerebro o esperar hasta el final?

Aquí es donde un nuevo método llamado SYRUP entra en juego. Piensa en el cerebro del robot como una enorme biblioteca congelada que no tenemos permitido reorganizar. SYRUP es como un bibliotecario diminuto y superinteligente que se para justo al lado del robot mientras escribe. Cada vez que el robot elige la siguiente palabra para decir, este bibliotecario comprueba dos cosas: "¿Encaja esta palabra con la historia?" y "¿Encaja esta palabra con el disfraz de pirata?".

Así es como funciona en la práctica. El robot tiene una lista de sus 10 palabras favoritas para decir a continuación. Normalmente, simplemente elige la favorita número uno. Pero SYRUP interviene. Mira el "prompt de sistema" (el disfraz de pirata) como una tarjeta de memoria especial y separada. Utiliza una herramienta especial llamada cabezal de recompensa de atención cruzada (cross-attention reward head) para preguntar a los pensamientos actuales del robot: "Oye, si dices esta palabra, ¿coincide con la vibra de pirata?". El bibliotecario entonces asigna una puntuación a cada una de las 10 palabras superiores. Si el robot quiere decir "Hola", pero el disfraz de pirata requiere "Ahoy", el bibliotec even aumenta la puntuación de "Ahoy" y baja la de "Hola". El robot entonces elige la palabra con la puntuación combinada más alta.

El artículo sugiere que este enfoque es mucho mejor que los métodos antiguos. Los investigadores probaron SYRUP en tres cerebros de robot diferentes y descubrieron que consistentemente ayudaba a seguir reglas complejas mejor que simplemente darle al robot un mejor prompt o intentar reordenar las respuestas después de que fueran escritas. De hecho, en una prueba, SYRUP mejoró el rendimiento del robot en aproximadamente un 5,6% en comparación con el siguiente mejor método. Eso puede parecer poco, pero en el mundo de la IA, es un salto enorme.

El artículo también descarta otras ideas. Muestra que simplemente fusionar las reglas en el texto principal de la conversación (como esconder las instrucciones del pirata dentro de la pregunta del usuario) no es suficiente; el robot necesita que las reglas sean tratadas como una memoria separada y distinta para realmente seguirlas. También descubrieron que, aunque podemos hacer que el robot siga las reglas mejor reentrenándolo desde cero, eso toma demasiado tiempo y dinero. SYRUP es un método de "decodificación en tiempo real" (decoding-time), lo que significa que funciona mientras el robot está pensando, manteniendo el cerebro original congelado y entrenando solo un complemento diminuto y ligero.

Curiosamente, los investigadores descubrieron que SYRUP funciona incluso con reglas que no ha visto antes. Entrenaron el método con un conjunto de instrucciones complejas y luego lo probaron con un conjunto de reglas completamente diferente (como un formato estricto o recuentos de palabras), y aun así funcionó bien. Esto sugiere que el método enseña al robot una habilidad general para "escuchar al jefe" en lugar de solo memorizar respuestas específicas.

Sin embargo, el artículo tiene cuidado en señalar que esto no es una varita mágica que lo solucione todo. El método añade un poco de tiempo extra al proceso de pensamiento del robot porque el bibliotecario tiene que comprobar las palabras. Pero los autores sugieren que este costo es muy pequeño en comparación con otros métodos complejos que intentan hacer lo mismo. También advierten que si se presiona demasiado el "seguimiento de reglas", el robot podría empezar a sonar extraño o antinatural, por lo que debe haber un equilibrio.

En resumen, SYRUP sugiere que si quieres que un robot siga un conjunto complejo de reglas sin reentrenar todo su cerebro, no deberías simplemente esperar que lo recuerde. En su lugar, deberías darle un guía dedicado y en tiempo real que verifique cada palabra que quiere decir contra las reglas, asegurando que la historia final se mantenga fiel al disfraz que llevaba desde el principio.

Resumen Técnico: SyRuP – Mejora del seguimiento de prompts de sistema mediante la predicción guiada por recompensa

Declaración del Probleza

Los Modelos de Lenguaje Grande (LLMs) son controlados cada vez más mediante prompts de sistema que definen roles, estilos, formatos y restricciones de seguridad. Sin embargo, los modelos actuales siguen estos prompts de forma implícita a través del aprendizaje en contexto (in-context learning), lo que a menudo resulta insuficiente para instrucciones complejas o composicionales. Las soluciones existentes enfrentan compromisos significativos:

Métodos en tiempo de entrenamiento (p. ej., SFT, RLHF) requieren actualizaciones de parámetros costosas y pueden incurrir en un "impuesto de alineación" (alignment tax), degradando las capacidades generales.
Métodos en tiempo de decodificación a menudo dependen del seguimiento de instrucciones implícito o tratan el prompt de sistema simplemente como parte de una secuencia de contexto fusionada. En consecuencia, el prompt de sistema pierde su rol distintivo como una fuente de condicionamiento separada, y los enfoques previos guiados por recompensa se han centrado en atributos fijos (p. ej., toxicidad, sentimiento) en lugar de la adherencia al prompt de sistema específica de cada instancia.

Existe una falta de marcos que traten explícitamente el prompt de sistema como una fuente de memoria separada para proporcionar guía a nivel de token durante la inferencia sin modificar el modelo base.

Metodología: SyRuP

Los autores proponen SyRuP (System-prompt following via Reward-guided Prediction), un marco de decodificación en tiempo que mantiene el LLM base congelado y entrena únicamente una cabeza de recompensa ligera. La innovación central es la reformulación del seguimiento del prompt de sistema como un problema de adherencia condicional a nivel de token.

1. Cabeza de Recompensa de Atención Cruzada (Cross-Attention Reward Head)

A diferencia de los modelos de recompensa estándar que fusionan el prompt de sistema, la entrada del usuario y el prefijo generado en una única secuencia, SyRuP mantiene el prompt de sistema como una memoria de Clave-Valor (KV) distinta.

Arquitectura: La cabeza de recompensa utiliza un mecanismo de atención cruzada donde los estados ocultos del prompt de sistema ( $H(s)$ ) sirven como claves ( $K_s$ ) y valores ( $V_s$ ).
Construcción de la Consulta (Query): La consulta ( $Q_t$ ) se deriva de la concatenación de la entrada del usuario y el prefijo generado ( $H(x), H(y_{<t})$ ).
Puntuación: La salida de la atención cruzada atiende a las partes más relevantes del prompt de sistema para el estado actual de la generación. Esto se fusiona con la representación del contexto y se pasa a través de un MLP de dos capas para producir una puntuación de adherencia a nivel de token ( $r_t(v)$ ) para cada candidato de token.
Entrenamiento: La cabeza se entrena sobre pares de preferencia condicionados al prompt de sistema $(s, x, y^+, y^-)$ utilizando un objetivo de Bradley-Terry. El LM base permanece congelado; solo se actualizan las proyecciones de atención cruzada y el MLP de fusión.

2. Decodificación Guiada por Recompensa

En la inferencia, SyRuP reclasifica (reranks) los $k$ mejores candidatos de los logits del LM base. La puntuación de selección final combina tres componentes:
$\text{Score}(v) = \ell_t(v) + \lambda_r r_t(v) + \lambda_c \Delta_t(v)$

$\ell_t(v)$ : Logits del LM base (fluidez).
$r_t(v)$ : Puntuación de recompensa aprendida a nivel de token (adherencia explícita).
$\Delta_t(v)$ : Una señal contrastiva opcional que mide el desplazamiento de los logits inducido por el prompt de sistema en relación con un prompt neutral ( $\ell_t(v) - \ell^{neu}_t(v)$ ).
$\lambda_r, \lambda_c$ : Hiperparámetros que controlan la fuerza de las señales de recompensa y contrastiva.

Contribuciones Clave

Condicionamiento Explícito del Sistema: SyRuP es el primer marco de tiempo de decodificación que trata el prompt de sistema como una fuente de memoria separada mediante atención cruzada, permitiendo una evaluación de la adherencia explícita a nivel de token en lugar de depender de la absorción implícita del contexto.
Control Ligero en Tiempo de Inferencia: El método no requiere actualizaciones de los parámetros del LLM base, solo una cabeza de recompensa pequeña y entrenable, ofreciendo una alternativa práctica al ajuste fino completo (full fine-tuning).
Guía Híbrida: La introducción de una variante híbrida que combina la guía de recompensa explícita con una señal contrastiva para capturar los desplazos de distribución inducidos por el sistema, proporcionando señales complementarias para dirigir la generación.

Resultados Experimentales

Los autores evaluaron SyRuP en Multifaceted-Bench (in-domain) e IFEval (out-of-distribution) utilizando tres modelos de base (Qwen-2.5-1.5B, Llama-3.2-3B, Llama-3.1-8B).

Desempeño: SyRuP superó consistentemente a todos los baselines, incluyendo métodos de prompting (p. ej., Few-shot, Marked Prompting) y baselines de decodificación (p. ej., OPAD, GenARM, ARGS, BoN, DeAL).
- En Multifaceted-Bench, alcanzó la mejor puntuación promedio en las 15 combinaciones de modelo-tarea, mejorando al baseline más fuerte en un 5.61% en Qwen-2.5-1.5B.
- En IFEval, sin ningún entrenamiento específico de la tarea, SyRuP logró la mejor precisión promedio de nivel de prompt estricto, demostrando una fuerte generalización a restricciones verificables.
Eficiencia: SyRuP ofrece un compromiso favorable entre adherencia y costo.
- La variante de solo recompensa aumentó la latencia solo en 1.04× en comparación con el modelo base.
- La variante híbrida completa incurrió en un aumento de latencia de 2.18×, lo cual sigue siendo significativamente menor que otros baselines de decodificación como ARGS (5.13×) y DeAL (16.83×).
- El uso de memoria GPU pico se mantuvo cercano al modelo base (3.1 GB frente a >10 GB para algunos baselines).
Análisis: Los estudios de ablación confirmaron que el condicionamiento de atención cruzada explícita supera al condicionamiento implícito de flujo único (single-stream). Además, se encontró que las señales de recompensa y contrastiva son complementarias, ya que el enfoque combinado genera elecciones de tokens únicas que no fueron seleccionadas por ninguna de las señales por sí solas.

Significado y Reivindicaciones

El artículo afirma que SyRuP valida la hipótesis de que la guía explícita a nivel de token es un mecanismo efectivo y práctico para el seguimiento fiable de los prompts de sistema. Al desacoplar el prompt de sistema del contexto de generación y tratarlo como una fuente de memoria dedicada, SyRuP permite que los modelos se adhieran a restricciones complejas, diversas y específicas de cada instancia sin la carga computacional de reentrenar o los altos costos de inferencia de la decodificación basada en búsqueda.

Los autores posicionan a SyRuP como un paso hacia una generación de LLM más controlable, particularmente para escenarios donde los prompts de sistema definen roles críticos, directrices de seguridad o requisitos de formato que el aprendizaje en contexto estándar no logra imponer de manera consistente. Reconocen limitaciones, como la carga adicional de la señal contrastiva híbrida y el potencial de sobre-dirección (over-steering), sugiriendo trabajos futuros en el pesaje adaptativo y el filtrado de seguridad.