🤖 AI

S2T-RLHF: Hierarchical Credit Assignment for Stable Preference-Based RLHF

O artigo propõe o S2T-RLHF, um framework de atribuição de crédito hierárquica que aumenta a estabilidade do RLHF baseado em preferências ao decompor recompensas de nível de sequência em alocações de nível de sentença seguidas por um refinamento limitado de nível de token, equilibrando, assim, a coerência semântica com a robustez contra ruído de recompensa.

Autores originais: Wei Chen, Guanghui Zhu, Yafei Li, Limin Wang, Yihua Huang

Publicado 2026-07-22

📖 8 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Wei Chen, Guanghui Zhu, Yafei Li, Limin Wang, Yihua Huang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô muito talentoso, mas um pouco caótico, a escrever uma história. Você não dá ao robô um livro didático; em vez disso, você lê as histórias dele e dá apenas uma pontuação ao final: "Bom trabalho!" ou "Não tão bom". Esta é a ideia básica por trás de um campo da inteligência artificial chamado Aprendizado por Reforço com Feedback Humano (RLHF). O robô (a IA) tenta escrever, recebe uma pontuação e ajusta seu cérebro para obter uma pontuação mais alta na próxima vez. É o ingrediente secreto que ajuda os chatbots de IA a parecerem úteis, inofensivos e humanos. O robô tenta escrever, recebe uma nota e ajusta seu céreã para obter uma nota maior na próxima vez.

Mas aqui está a parte complicada: dar uma pontuação apenas no final é como dar uma nota "A" ou "F" para uma redação de 10 páginas sem dizer ao aluno qual parágrafo foi brilhante ou qual frase foi confusa. O robô tem que adivinhar qual pequena palavra que ele escreveu foi o "herói" e qual foi o "vilão". Esse jogo de adivinhação frequentemente faz com que o robô fique confuso, aja de forma errática ou até mesmo "trapaceie", escrevendo histórias mais longas apenas para ganhar mais pontos, em vez de escrever histórias melhores. Os cientistas chamam isso de "treinamento instável", e é uma grande dor de cabeça para quem tenta construir uma IA confiável.

Este artigo, intitulado S2T-RLHF, aborda essa confusão mudando como o robô recebe seu feedback. Os autores sugerem que, em vez de tentar adivinhar o valor de cada única palavra (token) imediatamente, devemos primeiro descobrir quais frases foram boas e, só então, olhar de perto para as palavras dentro dessas frases. Eles chamam isso de uma abordagem "hierárquica". Sua principal descoberta sugere que, ao dividir o feedback nestas duas etapas — primeiro frases, depois palavras — o robô aprende de forma muito mais suave e não trava com tanta frequência. Eles argumentam que tentar ser excessivamente preciso com o feedback ao nível da palavra na verdade piora as coisas, porque os sinais de feedback são frequentemente ruidosos e confusos. Ao usar as frases como um meio termo, eles encontraram uma maneira de manter o treinamento estável e, ao mesmo tempo, ensinar o robô a escrever melhor.

O Problema: O Mistério da "Palavra Única"

Imagine que você é o treinador de um time de futebol. O time joga uma partida inteira e, ao final, você entrega a eles um único troféu e diz: "Ótimo jogo!". Você não diz quem marcou o gol, quem fez uma grande defesa ou quem perdeu um pênalti. Agora, imagine que os jogadores tenham que descobrir seus próprios papéis baseados nesse único troféu. O atacante pode pensar: "Eu devo ter sido incrível!", enquanto o goleiro pensa: "Eu devo ter sido perfeito!". Mas talvez o goleiro tenha sofrido três gols e o atacante tenha perdido a única chance clara. Como o feedback é tão vago, os jogadores começam a fazer suposições selvagens. Alguns podem começar a correr pelo campo desnecessariamente apenas para parecer ocupados, pensando que "mais movimento = mais pontos".

No mundo da IA, é exatamente isso que acontece. A IA gera uma resposta longa (a partida de futebol) e um "modelo de recompensa" (o treinador) dá a ela um único número (o troféu). A IA então tenta ajustar cada palavra que escreveu (cada movimento dos jogadores) para obter esse número mais alto. Como o feedback é tão grosseiro, a IA fica confusa. Ela pode começar a se repetir, escrever bobagens ou tornar-se excessivamente longa apenas para inflar a pontuação. Isso é o que o artigo chama de "dinâmicas de treinamento instáveis".

A Ideia Antiga: "Mais Detalhe é Melhor"

Por um tempo, os pesquisadores pensaram que a solução era dar ao robô mais detalhes. Eles tentaram atribuir uma pontuação a cada palavra (token) conforme ela era escrita. É como o treinador correndo para o campo a cada 10 segundos para gritar "Bom chute!" ou "Passe ruim!" para cada jogador. A lógica era: "Se dermos ao robô um feedback mais específico, ele aprenderá mais rápido e melhor".

No entanto, os autores deste artigo argumentam que essa lógica é falha. Eles sugerem que as preferências humanas são, na verdade, imprecisas. Quando lemos uma resposta, nós a julgamos por frases ou ideias, não por letras individuais ou palavras minúsculas. Se forçarmos a IA a atribuir uma pontuação precisa a cada palavra com base em uma preferência humana vaga e ruidosa, podemos apenas amplificar a confusão. É como tentar medir a temperatura de uma tempestade com um termômetro que treme demais; quanto mais você tenta medir as pequenas flutuações, mais o ruído atrapalha sua leitura. O artigo sugere que buscar a "precisão máxima" no nível da palavra na verdade desestabiliza o processo de aprendizado.

A Nova Solução: S2T-RLHF (Sentence-to-Token)

Os autores propõem uma maneira mais inteligente de avaliar o robô, que chamam de S2T-RLHF. Pense nisso como um sistema de avaliação em dois estágios que respeita como os humanos realmente leem e escrevem.

Estágio 1: O Nível da Frase (O Check do "Panorama Geral")
Primeiro, o sistema olha para a resposta completa e a divide em frases. Ele pergunta: "Quais frases carregaram as ideias principais? Quais foram as mais importantes?". Ele usa um truque matemático inteligente (chamado "negociação de Nash", que é como uma negociação justa) para dividir a pontuação do único "troféu" entre as diferentes frases.

A Analogia: Imagine que o treinador agora diz: "O primeiro parágrafo foi um pouco fraco, mas o segundo parágrafo foi fantástico, e a conclusão foi ok". A pontuação é agora distribuída de forma justa entre as frases. Isso evita que o robô fique confuso sobre qual parte da história importou mais. Garante que as frases importantes recebam o crédito que merecem sem serem abafadas pelo ruído de todo o texto.

Estágio 2: O Nível do Token (O Check de "Refinamento")
Uma vez que as frases tenham sua parte da pontuação, o sistema olha dentro de cada frase para decidir quais palavras específicas foram as estrelas. Mas aqui está o detalhe: ele não exagera. Ele utiliza uma abordagem "limitada". Ele diz: "Ok, esta frase recebeu uma boa pontuação. Agora, vamos descobrir quais palavras dentro dela foram os jogadores-chave, mas não vamos perder o controle".

A Analogia: Dentro daquele segundo parágrafo "fantástico", o treinador aponta para os verbos e substantivos específicos que o tornaram ótimo. Mas eles não alteram a pontuação de todo o parágrafo por causa de um pequeno erro de digitação. Eles mantêm o foco nas grandes ideias primeiro, e depois refinam os detalhes. Este passo usa uma rede de IA leve (chamada DTAN) para decidir quais palavras importam mais dentro daquela frase.

O Que Eles Descobriram

Os autores testaram este novo método em vários conjuntos de dados diferentes e o compararam com as formas antigas (apenas dar uma pontuação no final, ou tentar pontuar cada palavra imediatamente).

A Estabilidade Vence: A descoberta mais importante é que o S2T-RLHF torna o processo de treinamento muito mais suave. Em seus experimentos, os métodos "padrão" frequentemente mostravam oscilações selvagens de desempenho, como um carro acelerando e freando bruscamente. O S2T-RLHF dirigia como um cruzeiroiro constante. O robô não bateu, não ficou confuso e não começou a escrever bobagens apenas para manipular o sistema.
Melhor Qualidade: Não apenas foi mais estável, como o resultado final da IA também foi melhor em seguir as preferências humanas. Quando pediram a um juiz separado (seja uma IA com características humanas ou um modelo de recompensa) para comparar as histórias escritas pelo novo método versus os métodos antigos, as histórias do S2T-RLHF venceram com mais frequência.
A Armadilha do "Detalhe Excessivo": Eles mostraram explicitamente que tentar pontuar cada palavra imediatamente (a abordagem "apenas token") frequentemente levava à instabilidade, especialmente quando o treinamento era agressivo. Isso confirma a teoria deles de que "mais detalhe" nem sempre é melhor; às vezes, você precisa de um passo intermediário (a frase) para manter as coisas fundamentadas.

Por Que Isso Importa

Este artigo sugere que a chave para ensinar IA não é apenas dar a ela mais dados ou detalhes mais finos. É sobre dar a ela um feedback que combine com a forma como os humanos realmente pensam. Nós não julgamos uma história palavra por palavra; nós a julgamos pelo seu fluxo, suas frases e suas ideias. Ao alinhar o processo de aprendizado da IA com essa estrutura natural, os autores encontraram uma maneira de tornar o treinamento de IA mais confiável e menos propenso a falhas.

Eles não apenas adivinharam isso; eles realizaram simulações e experimentos extensos. Mostraram que, ao respeitar a "hierarquia" da linguagem — frases primeiro, palavras depois — você consegue o melhor dos dois mundos: a estabilidade de uma visão ampla e a precisão de detalhes refinados. É um lembrete de que, às vezes, a melhor maneira de resolver um problema complexo não é dar o zoom o mais próximo possível, mas encontrar o nível certo de foco.

Resumo Técnico: S2T-RLHF

Declaração do Problema

O Aprendizado por Reforço com Feedback Humano (RLHF) utilizando modelos de recompensa baseados em preferências frequentemente sofre com dinâmicas de treinamento instáveis, manifestando viés de comprimento, concentração de recompensa e colapsos ocasionais da recompensa. Uma causa estrutural primária identificada é o descompasso entre a granularidade semântica das preferências humanas e a granularidade de otimização dos modelos de linguagem.

Os fluxos padrão de RLHF atribuem um único escalar de recompensa para toda uma resposta gerada (nível de sequência). Este sinal global é propagado para atualizações de política ao nível de token, deixando a atribuição de crédito dentro de uma resposta inerentemente ambígua. Embora trabalhos recentes tenham tentado abordar isso refinando recompensas em supervisões mais densas ao nível de token, os autores argumentam que essa abordagem depende de uma premissa incompleta: a de que a atribuição de crédito mais fina é intrinsecamente benéfica. O artigo postula que quando os sinais de preferência são ruidosos e definidos apenas no nível da resposta, o refinamento excessivamente fino pode amplificar a incerteza da recompensa, propagar artefatos locais do modelo de recompensa e desestabilizar o aprendizado. O desafio central é projetar sinais de recompensa cuja granularidade se alinhe à estrutura semântica da linguagem para priorizar a estabilidade sobre a precisão máxima de alocação.

Metodologia: S2T-RLHF

Para enfrentar essas questões, os autores propõem o S2T-RLHF (Sentence-to-Token RLHF), um framework hierárquico de atribuição de crédito que decompõe recompensas de preferência de nível de sequência em sinais densos fundamentados semanticamente, sem exigir o retreinamento do modelo de recompensa ou supervisão ao nível de token. O método opera sob o princípio de que sentenças servem como uma granularidade intermediária natural, equilibrando coerência semântica com robustez ao ruído de nível de token.

O framework consiste em duas etapas distintas:

Estágio I: Alocação de Recompensa ao Nível de Sentença

A recompensa global de nível de sequência é primeiro alocada entre as sentenças usando um mecanismo de barganha cooperativa.

Perturbação Semântica e Estimativa de Influência: Para uma resposta $x = [s_1, \dots, s_K]$ , o método gera perturbações semânticas substituindo cada sentença $s_i$ por variantes. Ele mede as mudanças induzidas na recompensa de nível de sequência ( $\Delta R$ ) e nos embeddings das sentenças ( $\delta$ ). Um vetor latente de influência semântica $v_i$ é estimado para cada sentença via regressão regularizada por Ridge, capturando como o modelo de recompensa responde às variações semânticas.
Formulação de Barganha de Nash: A alocação é formulada como um problema de barganha cooperativa. As sentenças negociam suas partes de uma recompensa global fixa com base em suas utilidades latentes. A utilidade da sentença $i$ é definida pelo seu alinhamento com uma direção semântica cooperativa derivada de todos os vetores de influência.
Solucionador de Ponto Fixo: Os coeficientes de alocação são computados resolvendo uma equação de ponto fixo derivada do objetivo de barganha de Nash ( $M\beta = \beta^{\odot -1}$ ), garantindo uma distribuição invariante de escala e simétrica que evita que sentenças semanticamente importantes sejam sub-recompensadas.

Estágio II: Refinamento de Recompensa ao Nível de Token

Uma vez determinadas as recompensas de nível de sentença, elas são refinadas dentro de cada sentença para o nível de token.

Rede de Alocação de Tokens de Dirichlet (DTAN): Uma rede leve mapeia representações contextuais de tokens para parâmetros de concentração de Dirichlet positivos ( $\alpha$ ).
Alocação Limitada: Os pesos dos tokens são derivados da expectativa da distribuição de Dirichlet ( $c_{s,t} = \alpha_{s,t} / \sum \alpha_{s,k}$ ). Isso garante que os pesos não sejam negativos, somem um dentro da sentença e forneçam um refinamento limitado da recompensa de nível de sentença.
Integração: O sinal de recompensa final ao nível de token é $r_{s,t} = R(s) \cdot c_{s,t}$ . Na prática, esses sinais modulam a vantagem de nível de sequência no PPO, com aplicação de clipping para garantir estabilidade.

A DTAN é otimizada conjuntamente com a política durante a fase de RLHF, enquanto o modelo de recompensa subjacente permanece fixo.

Principais Contribuições

Princípio de Design Consciente de Granularidade: O artigo propõe um princípio de design para RLHF afirmando que a estabilidade do treinamento deve ser alcançada alinhando a granularidade da recompensa com a estrutura semântica da linguagem, em vez de buscar uma atribuição de crédito cada vez mais fina.
Framework S2T-RLHF: A introdução de um método hierárquico concreto que decompõe sinais de nível de sequência em alocações de nível de sentença (via barganha de Nash) seguidas de refinamento limitado de nível de token (via redes de Dirichlet). Isso permite uma supervisão densa e semanticamente fundamentada sem adições de anotações ou retreinamento do modelo de recompensa.
Validação Empírica: Avaliação extensiva através de múltiplos conjuntos de dados e configurações de otimização demonstra que o S2T-RLHF melhora a estabilidade do treinamento e a robustez, mantendo um alinhamento de preferência competitivo comparado aos métodos existentes.

Resultados Experimentais

Os autores avaliaram o S2T-RLHF utilizando o Gemma-2-9B como política e o RM-Gemma-2B como modelo de recompensa, treinados no conjunto de dados HH-RLHF.

Estabilidade de Treinamento: O S2T-RLHF exibe dinâmicas de treinamento significativamente mais suaves em comparação com o RLHF padrão e métodos de refinamento puramente de token.
- Divergência KL: O S2T-RLHF atinge recompensas finais maiores com uma divergência KL maior em relação à política de referência comparado a outras variantes, indicando um deslocamento eficaz da política sem colapso.
- Entropia: A entropia da política permanece estável, não mostrando sinais de colapso degenerativo.
- Testes de Estresse: Sob taxas de aprendizagem agressivas e configurações de KL agressivas, os métodos de refinamento apenas de token mostram instabilidade pronunciada e colapso precoce. O S2T-RLHF permanece robusto, com a alocação de nível de sentença provendo uma abstração intermediária estável.
Alinhamento de Preferência: Avaliações pareadas usando GPT-4o-mini e RM-Gemma-7B como juízes mostram que o S2T-RLHF supera consistentemente o RLHF padrão, ABC (alocação de token baseada em atenção) e SCAR (alocação baseada em valor de Shapley).
- Contra o RLHF padrão, o S2T-RLHF atinge taxas de vitória de ~53% (GPT-4o-mini) e ~51% (RM-Gemma-7B).
- Mantém uma vantagem de vitória sobre o ABC e o SCAR em vários conjuntos de dados, incluindo benchmarks de segurança como AdvBench e ToxiGen.
Estudos de Ablação:
- Hierarquia: Combinar a alocação de nível de sentença com o refinamento limitado de nível de token produz melhores resultados do que usar qualquer uma das granularidades isoladamente.
- Mecanismos: O alocador específico de barganha de Nash e o refinamento DTAN superam alternativas uniformes ou proporcionais ao comprimento, confirmando que os ganhos derivam tanto da estrutura hierárquica quanto dos mecanismos específicos de alocação.
Custo Computacional: O S2T-RLHF introduz um custo adicional de 81,5% por passo em comparação ao RLHF padrão, principalmente devido à estimativa de influência de sentença (consultas ao modelo de recompensa baseadas em perturbação). No entanto, continua sendo mais eficiente que os métodos baseados em Shapley (SCAR), que incorrem em um custo adicional de 131,2%.

Significância e Alegações

O artigo alega que a instabilidade do RLHF não é meramente um artefato de implementação, mas uma consequência estrutural de impulsionar a otimização de nível de token com recompensas de baixo nível de resolução (sequência). Os autores desafiam a suposição predominante de que a atribuição de crédito mais fina é intrinsecamente benéfica. Em vez disso, defendem que o design de recompensa orientado à estabilidade deve respeitar a hierarquia semântica da linguagem.

O S2T-RLHF é apresentado não como a forma final deste princípio, mas como uma instância simples e prática que demonstra como alinhar a granularidade da recompensa com unidades semânticas (sentenças) pode mitigar a amplificação de variância, quebrar o alinhamento de vantagem global e desacoplar o escalonamento de gradientes do comprimento da sequência. O trabalho reformula o design de recompensa densa em RLHF como um problema de alinhamento semântico e estabilidade de aprendizado, oferecendo um caminho para um alinhamento baseado em preferência mais robusto sem a complexidade de retreinar modelos de recompensa ou adquirir supervisão ao nível de token.