💬 NLP

TokenRatio: Principled Token-Level Preference Optimization via Ratio Matching

Este artigo apresenta a Otimização de Preferência de Bregman em Nível de Token (TBPO), um método inovador que deriva um modelo de preferência de Bradley-Terry em nível de token a partir de comparações padrão em nível de sequência para melhorar a qualidade do alinhamento, a estabilidade do treinamento e a diversidade de saída, mantendo a simplicidade da Otimização de Preferência Direta (DPO).

Autores originais: Truong Nguyen, Tien-Phat Nguyen, Linh Ngo Van, Duy Minh Ho Nguyen, Khoa Doan, Trung Le

Publicado 2026-05-13

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Truong Nguyen, Tien-Phat Nguyen, Linh Ngo Van, Duy Minh Ho Nguyen, Khoa Doan, Trung Le

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a escrever uma história. Você mostra a ele duas versões da mesma história: uma é uma "vencedora" (boa, útil, segura) e a outra é uma "perdedora" (ruim, inútil ou perigosa). Seu objetivo é ajustar o robô para que ele aprenda a escrever a versão "vencedora".

Por muito tempo, a maneira padrão de fazer isso (chamada de DPO) era como avaliar a história inteira de uma só vez. Você diria: "Toda esta história é ótima, toda aquela história é ruim". O robô então tentaria ajustar seu cérebro para tornar a história inteira melhor.

O Problema:
O artigo argumenta que isso é um pouco como julgar um maratonista apenas pelo seu tempo de chegada, sem observar sua passada. Os modelos de linguagem não escrevem histórias inteiras de uma vez; eles escrevem uma palavra de cada vez. Cada palavra que escolhem é uma decisão minúscula baseada no que veio antes. Se o robô cometer um pequeno erro na própria primeira palavra, toda a história pode sair dos trilhos, mesmo que a nota da "história inteira" acabe melhorando.

Os métodos existentes de "nível de token" tentaram corrigir isso dividindo a história, mas ainda eram essencialmente apenas espalhando a nota da "história inteira" pelas palavras, em vez de ensinar ao robô como fazer a escolha certa em cada passo individual.

A Solução: TokenRatio (TBPO)
Os autores propõem um novo método chamado Otimização de Preferência Bregman de Nível de Token (TBPO). Aqui está como eles o explicam usando analogias simples:

1. A Analogia do "GPS Passo a Passo"

Imagine que você está dirigindo de Nova York a Los Angeles.

Método Antigo (Nível de Sequência): Você olha para o destino final. Se você chegar em LA, ganha uma estrela dourada. Se acabar no Canadá, recebe um sinal vermelho. Você tenta ajustar sua direção para obter aquela estrela dourada, mas não sabe exatamente qual curva foi o erro.
Método TBPO (Nível de Token): Este método age como um GPS que te dá uma pontuação passo a passo. Em cada cruzamento (cada palavra), ele pergunta: "Você pegou a estrada que leva à boa história, ou à ruim?". Ele ensina o robô a fazer a escolha perfeita em cada passo individual, não apenas a esperar que o resultado final seja bom.

2. O Problema das "Duas Estradas Diferentes"

Aqui está a parte complicada que o artigo resolve. Ao comparar uma história "vencedora" e uma história "perdedora", elas frequentemente parecem muito diferentes muito cedo.

O Cenário: Imagine que a história vencedora começa com "O gato sentou-se..." e a história perdedora começa com "O cachorro correu...".
O Problema: Se você apenas comparar a próxima palavra, você não está comparando apenas a palavra; está comparando dois pontos de partida completamente diferentes. É como comparar um corredor que começou no topo de uma colina com outro que começou no fundo. O que está no topo tem uma vantagem injusta.
A Correção: O artigo introduz um "fator de correção" (chamado de baseline).
- TBPO-Q: Esta versão constrói uma pequena "calculadora" leve que estima o quão "boa" era a posição inicial (o prefixo). Ela subtrai essa vantagem para que você esteja julgando apenas a próxima palavra, e não toda a história.
- TBPO-A: Esta versão faz a mesma matemática, mas usa um truque diferente (chamado "normalização de vantagem") para cancelar as diferenças do ponto de partida sem precisar de uma calculadora separada.

3. A Magia da "Razão de Densidade"

O artigo usa um conceito matemático sofisticado chamado Correspondência de Razão de Densidade (especificamente usando algo chamado Divergência de Bregman).

Analogia Simples: Imagine que você tem um saco de bolinhas vermelhas (palavras boas) e bolinhas azuis (palavras ruins). Você quer ensinar o robô a pegar as bolinhas vermelhas.
Em vez de apenas contá-las, o método do artigo olha para a razão de vermelhas para azuis nas histórias "boas" versus as histórias "ruins". Ele tenta fazer com que a razão interna do robô corresponda perfeitamente à razão "boa".
Ao fazer isso no nível da palavra, o robô aprende uma "política" (um conjunto de regras) que é ótima em cada momento individual, não apenas para o resultado final.

O Que Eles Encontraram?

Os autores testaram este novo método em dois modelos de IA populares (Mistral e Llama 3) em muitas tarefas diferentes:

Raciocínio Mais Inteligente: Os modelos ficaram melhores em matemática e quebra-cabeças de lógica (como GSM8K e MMLU).
Melhor Alinhamento: Eles se tornaram mais úteis e menos propensos a dizer coisas prejudiciais.
Mais Variedade: Um problema comum no treinamento de IA é que os modelos se tornam chatos e repetitivos (como um disco riscado). O TBPO manteve os modelos diversos e criativos, enquanto outros métodos os tornaram mais robóticos.
Eficiência: Eles alcançaram esses resultados sem precisar de loops complexos e caros de aprendizado por reforço. Foi uma melhoria "plug-and-play" sobre os métodos padrão.

Em Resumo:
O artigo diz: "Pare de avaliar a redação inteira de uma vez. Ensine a IA a fazer a escolha certa para cada palavra individual, corrigindo o fato de que algumas histórias começam com uma vantagem". O resultado é uma IA mais inteligente, mais útil e menos repetitiva.

Resumo Técnico: TokenRatio (TBPO)

Declaração do Problema

A Otimização de Preferência Direta (DPO) tornou-se um padrão para alinhar Modelos de Linguagem de Grande Escala (LLMs) com preferências humanas devido à sua estabilidade e à ausência de necessidade de modelagem de recompensa explícita ou aprendizado por reforço (RL). No entanto, existe uma incompatibilidade fundamental entre o objetivo da DPO e a natureza autoregressiva dos LLMs. A DPO trata uma resposta gerada como um único objeto indivisível ao nível da sequência, otimizando um modelo global de preferência de Bradley–Terry. Em contraste, os LLMs geram texto token por token, tomando decisões locais condicionadas ao prefixo atual.

Extensões ao nível do token existentes (por exemplo, TDPO, TIS-DPO) tentam preencher essa lacuna decompondo o objetivo ao nível da sequência ao longo dos passos de tempo. No entanto, esses métodos ainda otimizam fundamentalmente um modelo de preferência ao nível da sequência, deixando a optimalidade por prefixo (por estado) implícita. Isso leva a uma atribuição de crédito subótima, onde pequenos erros em tokens iniciais podem causar efeitos em cascata nas decisões subsequentes, e o modelo não é explicitamente treinado para fazer compensações localmente ótimas em cada estado.

Metodologia: Otimização de Preferência Bregman ao Nível do Token (TBPO)

O artigo propõe a Otimização de Preferência Bregman ao Nível do Token (TBPO), um framework que modela explicitamente preferências ao nível do token, dependendo exclusivamente de dados padrão de comparação pareada ao nível da sequência.

Framework Central

Modelo de Bradley–Terry ao Nível do Token: A TBPO postula um modelo de preferência sobre ações de próximo-token condicionadas ao prefixo. Para um par de preferência $(y_w, y_l)$ , o modelo compara a probabilidade de gerar o token vencedor $y^w_t$ dado o prefixo vencedor versus o token perdedor $y^l_t$ dado o prefixo perdedor.
Correspondência de Razão de Densidade: O método enquadra a aprendizagem de preferências como um problema de estimativa de razão de densidade sob um framework de divergência de Bregman. Deriva um objetivo que corresponde à razão de dados empírica (probabilidade de preferência) com a razão da política do modelo.
Caracterização de Optimalidade: Os autores provam que minimizar o objetivo da TBPO recupera uma política ótima ao nível do token, estabelecendo um vínculo direto entre o modelo de preferência ao nível do token e o comportamento de otimização.

Duas Instanciações

O framework produz duas variantes específicas com base na escolha da função de pontuação ao nível do token $S(s, a)$ :

TBPO-Q: Utiliza a função de valor estado-ação da política de referência $Q_{\pi_{ref}}$ como pontuação. Esta variante requer a estimativa de um peso dependente do estado $w_t$ relacionado à razão das funções de partição (razões de valores suaves) entre os prefixos vencedor e perdedor. Isso é implementado por meio de uma cabeça de base leve e aprendível anexada ao modelo.
TBPO-A: Utiliza a função de vantagem da política de referência $A_{\pi_{ref}}$ como pontuação. Esta variante remove analiticamente a função de partição, mas introduz um peso $w_t$ baseado na diferença nas bases de divergência KL entre os dois prefixos. Isso é estimado usando um estimador de Monte-Carlo não viesado (estimador K3) sem exigir uma cabeça de base separada.

Ambas as variantes utilizam um objetivo de divergência de Bregman (especificamente a divergência de potência escalonada de Basu) para permitir o ajuste flexível da paisagem de perda, controlando o foco em amostras confiantes versus incertas.

Contribuições Principais

Proposta de Framework: Introdução da TBPO, um framework principiado de otimização de preferência ao nível do token que modela preferências diretamente ao nível do token usando correspondência de razão de densidade, mantendo-se compatível com dados de comparação ao nível da sequência.
Garantias Teóricas: Uma derivação rigorosa mostrando que, sob capacidade de modelo suficiente, a minimização do objetivo da TBPO recupera a política ótima ao nível do token definida pelo modelo de Bradley–Terry ao nível do token. Isso contrasta com métodos existentes onde a optimalidade token a token é implícita.
Validação Empírica: Experimentos abrangentes demonstrando que a TBPO melhora a qualidade de alinhamento, a estabilidade de treinamento e a diversidade de saída em comparação com bases fortes ao nível da sequência (DPO, BPO) e ao nível do token (TDPO, TIS-DPO).

Resultados Experimentais

Os autores avaliaram a TBPO-Q e a TBPO-A nos backbones Mistral 7B v0.1 e Llama 3 8B em múltiplos benchmarks:

Capacidades Gerais: No conjunto Open LLM Leaderboard (HellaSwag, ARC, MMLU, TruthfulQA, Winogrande, GSM8K), as variantes da TBPO alcançaram as médias mais altas. Notavelmente, a TBPO-Q e a TBPO-A mostraram melhorias significativas em tarefas pesadas de raciocínio (por exemplo, GSM8K, MMLU) em comparação com a DPO e outras bases ao nível do token, sem sacrificar o desempenho na compreensão geral de linguagem.
Qualidade de Geração (MT-Bench): Em avaliações pareadas contra bases, as variantes da TBPO alcançaram taxas de vitória mais altas com taxas de perda menores. As melhorias foram consistentes entre diferentes juízes LLM (Llama 3 70B, Mixtral-8x22B), indicando robustez.
Utilidade e Inofensividade: No conjunto de dados Anthropic HH-RLHF, as variantes da TBPO alcançaram o alinhamento de preferência mais forte enquanto geravam respostas significativamente mais curtas do que os métodos concorrentes. Isso sugere que a TBPO evita o viés de verbosidade frequentemente observado na otimização de preferências, alcançando alta qualidade por meio da concisão.
Diversidade: A TBPO melhorou o compromisso entre diversidade e redundância. Ao contrário de algumas bases que colapsaram a diversidade (baixa entropia preditiva, alto Self-BLEU), a TBPO manteve maior entropia preditiva e pontuações Distinct-1, mantendo o Self-BLEU baixo, indicando gerações menos redundantes e mais diversas.
Generalização Fora de Domínio: Em uma tarefa de resumo (TL;DR) onde os modelos foram treinados apenas em dados de seguimento de instruções (UltraFeedback), a TBPO demonstrou forte generalização, alcançando altas taxas de vitória com saídas mais curtas, sugerindo que ela aprende estruturas de preferência transferíveis em vez de superajustar a estilos específicos de conjuntos de dados.

Significado e Alegações

O artigo alega que a TBPO aborda a "incompatibilidade fundamental" entre a geração autoregressiva e objetivos de preferência ao nível da sequência. Ao impor explicitamente a optimalidade ao nível do token, a TBPO fornece uma abordagem mais principista para o alinhamento que alinha o objetivo de otimização com o processo real de decisão no momento da inferência dos LLMs.

Os autores enfatizam que a TBPO alcança isso sem sacrificar a simplicidade e a eficiência que tornam a DPO atraente (ou seja, não é necessário um modelo de recompensa explícito ou RL on-policy). O trabalho contribui metodologicamente para o design de sistemas de aprendizado de máquina mais confiáveis e bem compreendidos, oferecendo um framework que melhora simultaneamente a qualidade de alinhamento, a estabilidade de treinamento e a diversidade de geração. O artigo não alega impactos sociais imediatos além dessas melhorias metodológicas, mas observa que aplicações downstream devem ser implantadas de forma responsável.