Resumo Técnico: BALTO – Otimização de Política em Nível de Token Balanceada para Mitigação de Alucinações

1. Definição do Problema

Grandes Modelos de Linguagem (LLMs) enfrentam desafios significativos em cenários de conhecimento intensivo devido a alucinações de fidelidade — a geração de conteúdo que carece de suporte factual ou contradiz a evidência fornecida. Embora o Aprendizado por Reforço (RL) ofereça um caminho promissor para a mitigação, as abordagens atuais sofrem de uma desconexão de granularidade.

A maioria dos métodos de RL existentes emprega recompensas ao nível da resposta, atribuindo uma única pontuação escalar a toda a saída. Essa supervisão de grão grosso falha em distinguir entre spans alucinados e conteúdo fiel dentro da mesma resposta. Consequentemente, um erro localizado (por exemplo, uma data ou entidade incorreta) pode disparar uma penalidade negativa uniforme em todos os tokens, suprimindo erroneamente informações corretas e induzindo comportamentos de "exploração de recompensa" (reward hacking), onde os modelos geram respostas mais curtas e excessivamente conservadoras para evitar penalidades.

Abordagens recentes de grão fino (ex: recompensas ao nível de afirmação ou de token) abordam a detecção, mas frequentemente falham em resolver o problema de atribuição de crédito. Recompensas de nível de token desbalanceadas podem introduzir vieses em direção à verbosidade ou comprimento, enquanto métodos atrelados a vantagens globais ao nível da resposta ainda herdam ruído do sinal global. O problema central é a falta de um mecanismo que penalize precisamente os tokens alucinados enquanto compensa os tokens fiéis dentro da mesma resposta, garantindo que o modelo redistribua a massa de probabilidade em direção à veracidade, em vez de simplesmente suprimir a geração.

2. Metodologia: Estrutura BALTO

Os autores propõem o BALTO (Balanced Token-Level Policy Optimization), uma estrutura de aprendizado por reforço projetada para localizar alucinações e atribuir crédito balanceado ao nível do token. A estrutura opera em duas etapas primárias:

A. Detecção de Tokens de Alucinação de Grão Fino

O BALTO utiliza um avaliador de fidelidade baseado em LLM para processar as respostas amostradas:

1. Extração de Afirmações: O sistema extrai afirmações factuais verificáveis (ex: entidades, números, datas, relações) da resposta.
2. Verificação: Cada afirmação é verificada contra o contexto de referência (documentos recuperados). As afirmações são particionadas em conjuntos Fiéis ($C^+$) e Alucinados ($C^-$).
3. Projeção de Tokens:
   • Tokens em afirmações fiéis são rotulados como Fiéis ($F$).
   • Para afirmações alucinadas, o sistema tenta localizar o subconjunto mínimo de tokens errôneos ($e_{i,m}$) responsável pelo erro (ex: apenas o número incorreto "11,4%" em vez de toda a frase). Se o isolamento for impossível, todo o span da afirmação é penalizado. Esses tokens são rotulados como Alucinados ($H$).
   • Tokens fora de afirmações verificáveis ou tokens fiéis dentro de uma afirmação alucinada (onde o erro não pode ser isolado) são rotulados como Neutros ($N$).

B. Atribuição de Crédito Balanceada ao Nível de Token

Diferente do GRPO padrão, que transmite uma vantagem única para todos os tokens, o BALTO atribui vantagens específicas ($A^{bal}_{i,t}$) com base nos rótulos dos tokens:

• Tokens Alucinados ($H$): Recebem uma vantagem negativa de -1.
• Tokens Fiéis ($F$): Recebem uma vantagem compensatória positiva de $N^-_i / N^+_i$, onde $N^-$ e $N^+$ são as contagens de tokens alucinados e fiéis, respectivamente.
• Tokens Neutros ($N$): Recebem 0 de vantagem.

Mecanismo Chave: Este design garante uma propriedade de soma zero intra-resposta: $\sum A^{bal}_{i,t} = 0$. O sinal negativo total das alucinações é exatamente equilibrado pelo sinal positivo do conteúdo fiel. Isso encoraja a política a redistribuir a massa de probabilidade do conteúdo alucinado para o conteúdo fiel, em vez de suprimir toda a resposta.

C. Objetivo de Otimização

O BALTO otimiza a política usando um objetivo com corte (clipped objective) semelhante ao GRPO, mas restrito aos tokens factuais ($H \cup F$). A função objetivo maximiza a vantagem balanceada esperada, normalizando as atualizações pelo número de tokens factuais ($Z_i = \max(1, |H| + |F|)$).

3. Análise Teórica

O artigo fornece provas teóricas demonstrando a superioridade do BALTO sobre o GRPO ao nível da resposta:

• Redução de Variância (Teorema 1): O GRPO ao nível da resposta induz uma variância de gradiente que escala linearmente com o comprimento total da resposta ($O(T)$). Em contraste, o BALTO restringe a variância para escalar apenas com o número de tokens alucinados ($O(N^-)$). Como as alucinações são esparsas, isso reduz significativamente o ruído do gradiente e estabiliza o treinamento.
• Eficiência de Otimização (Teorema 2):
  • Início a Frio (Cold Start) ($p \to 0$): O GRPO ao nível da resposta sofre de "inanição de gradiente" conforme o coeficiente de normalização desaparece quando as respostas fiéis são raras. O BALTO mantém sinais locais fortes e limitados ($O(1)$), garantindo uma exploração eficiente nas fases iniciais.
  • Convergência ($p \to 1$): O GRPO ao nível da resposta dispara penalidades divergentes ilimitadas ($A^- \to -\infty$) para erros raros, desestabilizando a convergência tardia. O BALTO mantém vantagens estritamente limitadas ($[-1, 1]$), garantindo uma convergência estável e suave.

4. Resultados Experimentais

Experimentos foram conduzidos em três benchmarks: ConFiQA (QA contrafactual), RAGTruth (corpus de alucinação RAG) e FinLLM-Eval (QA de domínio financeiro). Os modelos utilizados incluíram Qwen3-8B e Qwen3-4B.

Principais Descobertas:

• Fidelidade: O BALTO alcançou as pontuações de fidelidade mais altas em todas as seis configurações de modelo-benchmark, superando as linhas de base de nível de resposta (GRPOB, GRPOD) e as de nível de token (FSPO).
• Q-Score: O BALTO alcançou consistentemente o maior Q-Score (definido como Fidelidade $\times$ Informatividade), demonstrando um equilíbrio superior entre correção e retenção de informação.
  • Comparado à linha de base de pós-treinamento mais forte, o BALTO melhorou o Q-Score em uma média de 2,7 pontos (até 4,9) e a Fidelidade em 3,1 pontos (até 6,7).
• Dinâmica de Treinamento:
  • Normas de Gradiente: O BALTO exibiu normas de gradiente um nível de magnitude menor e mais concentradas do que os métodos de nível de resposta, confirmando a redução da variância.
  • Atualizações de Parâmetros: O BALTO alcançou alta fidelidade com significativamente menos atualizações de parâmetros (~12% vs. ~17% para GRPOB), indicando um aprendizado mais eficiente focado em parâmetros relevantes.
• Estudos de Ablação: Remover a vantagem compensatória positiva para os tokens fiéis (definindo $PA=0$) resultou em quedas substanciais tanto na fidelidade quanto na informatividade, validando a necessidade do mecanismo de crédito balanceado.

5. Significância e Alegações

O artigo alega que o BALTO aborda uma lacuna crítica na mitigação de alucinações: a necessidade de uma atribuição de crédito balanceada e de grão fino.

• Precisão: Ao localizar erros em tokens específicos e balancear o sinal de recompensa, o BALão evita a penalidade de "tudo ou nada" do RL de nível de resposta, preservando a informatividade da resposta.
• Estabilidade: A evidência teórica e empírica sugere que a atribuição de nível de token balanceada leva a trajetórias de treinamento mais estáveis e maior eficiência de otimização, particularmente nas fases iniciais do treinamento e durante a convergência.
• Compromisso (Trade-off): Os resultados demonstram que é possível reduzir significativamente as alucinações sem colapsar em uma geração excessivamente conservadora ou verbosa, alcançando um equilíbrio fidelidade-informatividade mais forte do que as abordagens de pós-treinamento anteriores.

Os autores observam limitações, principalmente que o método depende de um avaliador externo baseado em LLM para extração e verificação de afirmações, o que significa que seu desempenho é limitado pela precisão do avaliador. Além disso, a estrutura é projetada para ambientes com fundamentação em recuperação (retrieval-grounded) onde documentos de referência estão disponíveis.