Resumo Técnico: Melhorando LLMs via Alinhamento entre Validador e Gerador (FLORA)

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) exibem uma inconsistência fundamental conhecida como o gap Gerador-Validador (G-V). Neste fenômeno, um LLM atuando como gerador pode produzir uma resposta com alta probabilidade, mas, ao ser reconsultado para atuar como validador, considera essa mesma resposta incorreta (ou vice-versa). Essa inconsistência compromete aplicações que dependem de auto-refinamento, retrocesso (backtracking) e modelagem de recompensa.

Tentativas anteriores de fechar esse gap maximizando a correlação entre os escores do gerador e do validador enfrentaram dois problemas críticos:

1. Viés de Frequência: Geradores frequentemente atribuem baixa probabilidade a strings válidas simplesmente porque essas strings são, a priori, improváveis (ex: sinônimos raros ou formatações específicas), não porque sejam incorretas. Métricas de consistência ingênuas falham ao não considerar isso, penalizando respostas válidas, porém infrequentes.
2. Incerteza Aleatória: Em tarefas com múltiplas respostas corretas (ex: "Nomeie um gás nobre"), um validador deve pontuar todas as opções corretas de forma alta, mas um gerador não consegue atribuir probabilidade igual a todas as opções válidas sem violar as leis da probabilidade sobre um vocabulário vasto.

Métodos existentes que ignoram esses fatores correm o risco de comportamentos patológicos, como a supressão de respostas corretas ou a introdução de sinais de treinamento contraditórios.

Metodologia: FLORA

Os autores propõem o Aprendizado de Alinhamento de Ranking Ordenado Corrigido por Frequência (FLORA), um objetivo de treinamento projetado para alinhar os comportamentos do gerador e do validador enquanto corrige a frequência da ocorrência.

1. Formulação Teórica

O artigo modela o LLM como um agente probabilístico racional operando com um estado de crença latente $v$ (um vetor de rótulos de validade para todas as respostas possíveis).

• Validador ($p_V$): Representa a crença do modelo de que uma resposta $y$ é correta dado um prompt $x$.
• Gerador ($p_G$): Representa a probabilidade de gerar $y$, que é uma mistura da crença do modelo sobre conjuntos válidos e uma política para selecionar formas superficiais entre as opções válidas.

Os autores derivam uma relação teórica (Teorema 1) entre o log-odds do validador e as probabilidades do gerador. Eles demonstram que, para a consistência ocorrer, o escore do gerador deve ser ajustado por um fator relacionado à frequência da resposta quando ela é solicitada incorretamente versus quando é solicitada corretamente.

Isso leva à definição de um escore de gerador corrigido por frequência ($s_{Adj}$):
$$s_{Adj}(y | x) = \log p_G(y | x) - \log p_G'(y | x)$$
Onde:

• $p_G(y | x)$ é a probabilidade de geração padrão.
• $p_G'(y | x)$ é a probabilidade de gerar $y$ quando explicitamente solicitado a fornecer uma resposta incorreta (ou um prompt de "anti-especialista").

Na prática, como $p_G'$ é difícil de elicitar de forma confiável, os autores propõem duas aproximações empíricas:

1. NegFC: Utiliza um prompt negativo para elicitar $p_G'$.
2. Unconditional FC (PMI): Utiliza a log-probabilidade incondicional da sequência de tokens como um proxy mais barato para a frequência, assumindo que a frequência de uma string é independente de sua correção.

2. Objetivo de Treinamento

O FLORA utiliza uma perda de preferência pareada para alinhar o gerador com o ranking de respostas do validador. A função de perda total combina:

• Perda de Preferência ($L_{pref}$): Uma perda logística que encoraja o gerador a classificar uma resposta preferida pelo validador ($y^+$) acima de uma não preferida ($y^-$) com base no escore corrigido por frequência $s_{Adj}$.
• Termos de Log-Verossimilhança Negativa (NLL): Termos supervisionados padrão aplicados a exemplos rotulados para garantir que o gerador mantenha a correção e o validador mantenha a calibração.

Os dados de treinamento consistem em pares de respostas $(y_i, y_j)$ para o mesmo prompt $x$, onde os escores do validador diferem significativamente. O método opera em um cenário semisupervisionado, utilizando pares rotulados onde a correção da verdade fundamental é conhecida e pares não rotulados onde apenas a preferência relativa do validador é utilizada.

Principais Contribuições

1. Consistência G-V Principiada: O artigo axiomatiza a consistência G-V baseada em um modelo de agente racional, demonstrando que a correlação ingênua é insuficiente devido aos efeitos de frequência.
2. Correção de Frequência: A derivação de uma relação teórica que exige a subtração da probabilidade de geração "incorreta" (ou um proxy de frequência) da pontuação de geração padrão para alcançar a verdadeira consistência.
3. Algoritmo FLORA: Um objetivo de treinamento concreto que implementa este alinhamento corrigido por frequência, o que melhora a discriminabilidade do gerador sem degradar o desempenho do validador.

Resultados Experimentais

Os autores avaliaram o FLORA em três tarefas: Seguimento de Instruções (IFEval), Codificação (HumanEval) e Conhecimento Taxonômico (Hiponímia).

• Ganhos de Desempenho: O FLORA supera substancialmente os métodos de alinhamento anteriores (incluindo SFT, Consistency FT e RankAlign).
  • Correlação Gerador-Validador ($\rho$): Alcançou ganhos de até +27 pontos percentuais (ex: em IFEval e HumanEval) em comparação com as bases de comparação mais fortes.
  • Discriminabilidade do Gerador (AUROC): Melhorou o AUROC do gerador em até +7,3 pontos percentuais.
• Eficácia da Correção de Frequência: Mesmo no tempo de teste (sem treinamento), aplicar a correção de frequência (NegFC ou PMI) melhorou significativamente a capacidade do gerador bruto de distinguir respostas corretas de incorretas e aumentou a correlação com o validador.
• Preservação do Validador: Crucialmente, o treinamento FLORA não degradou a qualidade do validador. Em vários cenários, a precisão e o AUROC do validador na verdade melhoraram (ex: +14 a +17 pp em HumanEval), refutando preocupações de que o treinamento de preferência possa causar "deslocamento de verossimilhança", onde o modelo parece alinhado apenas porque o validador degradou.
• Alinhamento Qualitativo: A análise visual mostrou que o treinamento FLORA resultou em uma relação muito mais clara e estruturada entre os escores do gerador e os log-odds do validador, separando efetivamente as conclusões corretas das incorretas na cauda da distribuição.

Significância e Alegações

O artigo afirma que o FLORA fornece uma solução principiada para o gap G-V ao abordar a causa raiz da inconsistência: a confluência da frequência da resposta com a correção da resposta.

• Rigor Teórico: Ao contrário de abordagens heurísticas anteriores, o FLORA está fundamentado em uma derivação teórica de como as probabilidades do gerador e do validador de um agente racional devem se relacionar.
• Robustez: O método funciona através de diversas tarefas (geração de forma curta e longa) e famílias de modelos (Gemma, Qwen).
• Utilidade Prática: Ao melhorar a capacidade do gerador de classificar respostas corretas (mesmo as raras) de forma mais alta, enquanto preserva o julgamento do validador, o FLORA permite pipelines de autocorreção e refinamento mais confiáveis para LLMs.

Os autores mantêm a modéstia quanto às limitações, observando que o termo teórico $r(y,x)$ é assumido como próximo de 1 (uma suposição difícil de validar diretamente) e que o framework atual foca em correção binária em vez de correção parcial. Além disso, a avaliação foca em conjuntos fixos de saídas (caudas da distribuição), em vez da única melhor saída de decodificação gulosa (greedy decoding).