💬 NLP

SyRuP: Enhancing System-Prompt Following via Reward-Guided Prediction in LLM Decoding

O artigo apresenta o SyRuP, um framework de tempo de decodificação que aumenta a adesão de Grandes Modelos de Linguagem ao prompts de sistema ao treinar uma cabeça de recompensa de atenção cruzada para gerar pontuações de adesão ao nível de token para reclassificar candidatos sem exigir o ajuste do modelo base.

Autores originais: Seoyeon Kim, Minjae Kang, Jaehyung Kim

Publicado 2026-07-28

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Seoyeon Kim, Minjae Kang, Jaehyung Kim

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está conversando com um robô muito inteligente e culto, que leu quase todos os livros da biblioteca. Este robô é um Modelo de Linguagem Grande (LLM). Normalmente, quando você faz uma pergunta a ele, ele responde com base em seu treinamento. Mas, às vezes, você quer dar a ele um conjunto específico de regras antes de ele começar a falar. Você pode dizer: "Aja como um pirata rabugento", ou "Responda apenas em rimas", ou "Nunca mencione violência". Essas regras são chamadas de prompts de sistema. Elas são como a descrição do cargo ou a fantasia que o robô veste para uma conversa específica.

O problema é que esses robôs estão acostumados a seguir instruções que aparecem dentro da conversa, não regras estabelecidas em pedra antes do chat começar. Quando as regras ficam complicadas — como "seja um pirata, mas também use a gramática do século XIX, evite a letra 'e' e mantenha o tom engraçado" — o robô frequentemente esquece as regras no meio do caminho. Ele pode começar a falar como um pirata, mas de repente mudar para um adolescente moderno, ou esquecer de evitar a letra 'e'. Cientistas tentaram corrigir isso retreinando o robô (o que é caro e lento) ou tentando adivinhar a melhor resposta depois que ela já foi escrita (o que é como editar um romance depois que o autor já terminou). A grande questão é: Podemos guiar o robô para seguir essas regras complexas enquanto ele está escrevendo, sem mudar seu cérebro ou esperar até o fim?

É aqui que um novo método chamado SYRUP entra em cena. Pense no cérebro do robô como uma biblioteca massiva e congelada que não temos permissão para reorganizar. O SYRUP é como um bibliotecário minúsculo e superinteligente que fica parado ao lado do robô enquanto ele escreve. Cada vez que o robô escolhe a próxima palavra para dizer, este bibliotecário verifica duas coisas: "Esta palavra se encaixa na história?" e "Esta palavra se encaixa na fantasia de pirata?".

Eis como funciona na prática. O robô tem uma lista das suas 10 palavras favoritas para dizer a seguir. Normalmente, ele apenas escolhe a sua favorita número um. O SYRUP intervém. Ele olha para o "prompt de sistema" (a fantasia de pirata) como um cartão de memória separado e especial. Ele usa uma ferramenta especial chamada cabeça de recompensa de atenção cruzada (cross-attention reward head) para perguntar aos pensamentos atuais do robô: "Ei, se você disser esta palavra, ela combina com a vibe de pirata?". O bibliotecário então dá uma pontuação para cada uma das 10 palavras favoritas. Se o robô quiser dizer "Olá", mas a fantasia de pirata exigir "Ahoy", o bibliotecário aumenta a pontuação de "Ahoy" e diminui a de "Olá". O robô então escolhe a palavra com a maior pontuação combinada.

O artigo sugere que esta abordagem é muito melhor do que as formas antigas. Os pesquisadores testaram o SYRUP em três cérebros de robôs diferentes e descobriram que ele consistentemente ajudou a seguir regras complexas melhor do que apenas dar um prompt melhor ao robô ou tentar reclassificar as respostas depois que foram escritas. De fato, em um teste, o SYRUP melhorou o desempenho do robô em cerca de 5,6% em comparação com o próximo melhor método. Isso pode parecer pouco, mas no mundo da IA, esse é um salto enorme.

O artigo também descarta outras ideias. Ele mostra que simplesmente fundir as regras no texto principal da conversa (como esconder as instruções de pirata dentro da pergunta do usuário) não é suficiente; o robão precisa que as regras sejam tratadas como uma memória separada e distinta para realmente segui-las. Também descobriu que, embora possamos fazer o robô seguir as regras melhor ao retreiná-lo do zero, isso leva muito tempo e dinheiro. O SYRUP é um método de "tempo de decodificação", o que significa que ele funciona enquanto o robô está pensando, mantendo o cérebro original congelado e treinando apenas um complemento minúsculo e leve.

Curiosamente, os pesquisadores descobriram que o SYRUP funciona mesmo em regras que ele ainda não viu. Eles treinaram o método em um conjunto de instruções complexas e depois o testaram em um conjunto completamente diferente de regras (como formatação rigorosa ou contagem de palavras), e ele ainda teve um bom desempenho. Isso sugere que o método ensina ao robô uma habilidade geral de "ouvir o chefe", em vez de apenas memorizar respostas específicas.

No entanto, o artigo é cuidadoso ao notar que o SYRUP não é uma varinha mágica que resolve tudo. O método adiciona um pouco de tempo extra ao processo de pensamento do robô porque o bibliotecário tem que verificar as palavras. Mas os autores sugerem que esse custo é muito pequeno em comparação com outros métodos complexos que tentam fazer a mesma coisa. Eles também alertam que, se você forçar demais o "seguimento de regras", o robô pode começar a soar estranho ou não natural, portanto, deve haver um equilíbrio.

Em suma, o SYRUP sugere que, se você quer que um robô siga um conjunto complexo de regras sem retreinar todo o seu céreão, você não deve apenas esperar que ele se lembre. Em vez disso, você deve dar a ele um guia dedicado em tempo real que verifica cada única palavra que ele quer dizer contra as regras, garantindo que a história final permaneça fiel à fantasia que ele estava vestindo desde o início.

Resumo Técnico: SyRuP – Aprimorando o Seguimento de System-Prompt via Predição Guiada por Recompensa

Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) são cada vez mais controlados via system prompts que definem papéis, estilos, formatos e restrições de segurança. No entanto, os modelos atuais seguem esses prompts de forma implícita através de aprendizado em contexto (in-context learning), o que frequentemente se mostra insuficiente para instruções complexas ou composicionais. As soluções existentes enfrentam trade-offs significativos:

Métodos em tempo de treinamento (ex: SFT, RLHF) exigem atualizações de parâmetros dispendiosas e podem incorrer em um "imposto de alinhamento" (alignment tax), degradando capacidades gerais.
Métodos em tempo de decodificação frequentemente dependem de seguimento de instrução implícito ou tratam o system prompt meramente como parte de uma sequência de contexto fundida. Consequentemente, o system prompt perde seu papel distinto como uma fonte de condicionamento separada, e abordagens anteriores guiadas por recompensa focaram em atributos fixos (ex: toxicidade, sentimento) em vez de aderência ao system prompt específica de cada instância.

Há uma carência de frameworks que tratem explicitamente o system prompt como uma fonte de memória separada para fornecer orientação ao nível de token durante a inferência sem modificar o modelo base.

Metodologia: SyRuP

Os autores propõem o SyRuP (System-prompt following via Reward-guided Prediction), um framework de tempo de decodificação que mantém o LLM base congelado e treina apenas uma cabeça de recompensa leve. A inovação central é reformular o seguimento do system prompt como um problema de aderência condicional ao nível de token.

1. Cabeça de Recompensa de Atenção Cruzada (Cross-Attention Reward Head)

Ao contrário dos modelos de recompensa padrão que fundem o system prompt, a entrada do usuário e o prefixo gerado em uma única sequência, o SyRuP mantém o system prompt como uma memória Chave-Valor (KV) distinta.

Arquitetura: A cabeça de recompensa utiliza um mecanismo de atenção cruzada onde os estados ocultos do system prompt ( $H(s)$ ) servem como chaves ( $K_s$ ) e valores ( $V_s$ ).
Construção da Query: A query ( $Q_t$ ) é derivada da concatenação da entrada do usuário e do prefixo gerado ( $H(x), H(y_{<t})$ ).
Pontuação: A saída da atenção cruzada atende às partes mais relevantes do system prompt para o estado atual da geração. Isso é fundido com a representação do contexto e passado por um MLP de duas camadas para produzir uma pontuação de aderência ao nível de token ( $r_t(v)$ ) para cada candidato a token.
Treinamento: A cabeça é treinada em pares de preferência condicionados ao system prompt $(s, x, y^+, y^-)$ usando um objetivo de Bradley-Terry. O LM base permanece congelado; apenas as projeções de atenção cruzada e o MLP de fusão são atualizados.

2. Decodificação Guiada por Recompensa

Na inferência, o SyRuP reclassifica os top- $k$ candidatos dos logits do LM base. A pontuação de seleção final combina três componentes:
$\text{Score}(v) = \ell_t(v) + \lambda_r r_t(v) + \lambda_c \Delta_t(v)$

$\ell_t(v)$ : Logits do LM base (fluência).
$r_t(v)$ : Pontuação de recompensa aprendida ao nível de token (aderência explícita).
$\Delta_t(v)$ : Um sinal contrastivo opcional que mede o deslocamento de logit induzido pelo system prompt em relação a um prompt neutro ( $\ell_t(v) - \ell^{neu}_t(v)$ ).
$\lambda_r, \lambda_c$ : Hiperparâmetros que controlam a força da recompensa e do sinal contrastivo.

Principais Contribuições

Condicionamento de Sistema Explícito: O SyRuP é o primeiro framework de tempo de decodificação a tratar o system prompt como uma fonte de memória separada via atenção cruzada, permitindo a avaliação de aderência explícita ao nível de token em vez de depender da absorção implícita de contexto.
Controle Leve em Tempo de Inferência: O método não requer atualizações nos parâmetros do LLM base, apenas uma cabeça de recompensa treinável e pequena, oferecendo uma alternativa prática ao ajuste fino completo (full fine-tuning).
Guia Híbrido: A introdução de uma variante híbrida que combina a orientação por recompensa explícita com um sinal contrastivo para capturar deslocamentos de distribuição induzidos pelo sistema, fornecendo sinais complementares para direcionar a geração.

Resultados Experimentais

Os autores avaliaram o SyRuP no Multifaceted-Bench (in-domain) e no IFEval (out-of-distribution) utilizando três modelos de base (Qwen-2.5-1.5B, Llama-3.2-3B, Llama-3.1-8B).

Desempenho: O SyRuP superou consistentemente todos os baselines, incluindo métodos de prompting (ex: Few-shot, Marked Prompting) e baselines de tempo de decodificação (ex: OPAD, GenARM, ARGS, BoN, DeAL).
- No Multifaceted-Bench, alcançou a melhor pontuação média em todas as 15 combinações de modelo-tarefa, melhorando o baseline mais forte em 5,61% no Qwen-2.5-1.5B.
- No IFEval, sem qualquer treinamento específico para a tarefa, o SyRuP alcançou a melhor precisão média de nível de instrução estrita, demonstrando forte generalização para restrições verificáveis.
Eficiência: O SyRuP oferece um trade-off favorável entre aderência e custo.
- A variante de apenas recompensa aumentou a latência em apenas 1,04× em comparação com o modelo base.
- A variante híbrida completa incorreu em um aumento de latência de 2,18×, o que permanece significativamente menor do que outros baselines de tempo de decodificação como ARGS (5,13×) e DeAL (16,83×).
- O uso de memória de GPU de pico permaneceu próximo ao modelo base (3,1 GB vs. >10 GB para alguns baselines).
Análise: Estudos de ablação confirmaram que o condicionamento de atenção cruzada explícita supera o condicionamento implícito de fluxo único (single-stream). Além disso, descobriu-se que os sinais de recompensa e contrastivo são complementares, com a abordagem combinada produzindo escolhas de tokens únicas não selecionadas por apenas um dos sinais.

Significância e Alegações

O artigo afirma que o SyRuP valida a hipótese de que a orientação explícita ao nível de token é um mecanismo eficaz e prático para o seguimento confiável de system prompts. Ao desacoplar o system prompt do contexto de geração e tratá-lo como uma fonte de memória dedicada, o SyRuP permite que os modelos adiram a restrições complexas, diversas e específicas de cada instância sem o overhead computacional de retreinamento ou os altos custos de inferência da decodificação baseada em busca.

Os autores posicionam o SyRuP como um passo em direção a uma geração de LLM mais controlável, particularmente para cenários onde os system prompts definem papéis críticos, diretrizes de segurança ou requisitos de formatação que o aprendizado em contexto padrão falha em impor de forma consistente. Eles reconhecem limitações, como o overhead adicional do sinal contrastivo híbrido e o potencial de excesso de direcionamento (over-steering), sugerindo trabalhos futuros em ponderação adaptativa e filtragem de segurança.