Explanation Quality Assessment as Ranking with Listwise Rewards

1. Declaração do Problema

O artigo aborda um gargalo crítico no treinamento de Modelos de Linguagem de Grande Escala (LLMs) para gerar explicações de alta qualidade: a falha da modelagem de recompensa padrão em capturar distinções graduais de qualidade.

• A Limitação das Abordagens Atuais: A maioria dos métodos existentes trata a avaliação de explicações como uma tarefa de classificação binária (boa/ruim) ou como uma tarefa de regressão pontual (prever uma pontuação escalar).
• Compressão de Pontuação: Os autores identificam a "compressão de pontuação" como um modo de falha primário. Objetivos de regressão (MSE) e preferências binárias tendem a comprimir as pontuações previstas de explicações diversas em uma faixa estreita.
• Impacto na Otimização de Política: No Aprendizado por Reforço a partir de Feedback Humano (RLHF), especificamente na Otimização de Política Proximal (PPO), o sinal de recompensa impulsiona as atualizações da política. Quando a separação de pontuação é mínima (por exemplo, uma explicação "ouro" e uma "sem sentido" recebem pontuações de 0,51 e 0,49), as estimativas de vantagem tornam-se dominadas por ruído. Isso torna o sinal de gradiente muito fraco para o aprendizado eficaz de políticas, fazendo com que o PPO falhe ou convirja para soluções subótimas.

2. Metodologia

Os autores propõem reformular a avaliação da qualidade de explicações como um problema de Aprendizado para Classificação (Learning-to-Rank - LTR), em vez de um problema de geração ou regressão.

A. Construção de Dataset Graduado

Para treinar modelos de classificação, os autores construíram um dataset com cinco níveis distintos de qualidade para cada instância de Inferência em Linguagem Natural (NLI):

1. Ouro: Explicações anotadas por humanos do e-SNLI (alta concordância entre anotadores).
2. Boa, Regular, Ruim: Explicações sintéticas geradas via templates determinísticos e conscientes de rótulos que degradam sistematicamente a consistência lógica e a relevância.
3. Sem Sentido: Texto semanticamente irrelevante.

• Inovação Chave: Os autores introduziram intervalos de pontuação sobrepostos para níveis adjacentes (por exemplo, "Boa" sobrepõe-se a "Regular"). Isso emula a discordância e a ambiguidade naturais humanas, impedindo que o modelo aprenda limites triviais e forçando-o a aprender características sutis.

B. Modelagem de Recompensa Baseada em Classificação

Em vez de prever uma única pontuação escalar, o modelo aprende a ordenar um conjunto de explicações candidatas $\{e_1, ..., e_n\}$ para uma consulta $q$ dada.

• Arquitetura: Eles utilizam modelos codificadores (BERT, RoBERTa, DeBERTa) e modelos decodificadores (Phi-2, Falcon, Mistral) com uma cabeça de projeção para emitir pontuações.
• Funções de Perda: Eles comparam objetivos padrão contra perdas específicas de classificação:
  • Regressão MSE: Predição pontual.
  • Classificação Binária: Modelo de preferência Bradley-Terry (par a par).
  • ListNet: Perda listwise que otimiza a distribuição de probabilidade sobre a lista inteira.
  • RankNet: Perda par a par.
  • ApproxNDCG: Otimização do Ganho Cumulativo Descontado Normalizado.
• Integração com PPO: O modelo de classificação serve como estimador de recompensa $f_\theta(q, e)$. A função de vantagem é calculada como $\hat{A}_t = f_\theta(q_t, e_t) - V_\phi(q_t)$. Como o modelo de classificação preserva as lacunas ordinais, as estimativas de vantagem refletem diferenças de qualidade relativas significativas, fornecendo gradientes estáveis para o PPO.

3. Contribuições Principais

1. Identificação da Compressão de Pontuação: O artigo identifica formalmente a compressão de pontuação em modelos de regressão e preferência binária como uma causa raiz da falha do PPO em tarefas de explicação, demonstrando que ela destrói o sinal de aprendizado.
2. Classificação como Solução: Eles estabelecem um vínculo de ponta a ponta mostrando que objetivos de classificação preservam a separação de pontuação, levando a estimativas de vantagem mais informativas e a uma convergência do PPO mais rápida e estável.
3. Insights Centrados em Dados: O estudo revela que a qualidade e a estrutura dos dados importam mais do que a escala do modelo. Pequenos modelos codificadores (por exemplo, 110M parâmetros) treinados em dados graduados e cuidadosamente curados superam ou igualam modelos decodificadores muito maiores (7B parâmetros).
4. Análise de Função de Perda: Eles demonstram que a perda de classificação ótima depende das características dos dados:
   • Listwise (ListNet) se destaca quando os níveis de qualidade são bem separados.
   • Pairwise (RankNet) é mais robusto a anotações ruidosas, mas geralmente produz menor separação de pontuação do que o ListNet.
5. Paradigma de Dataset Graduado: Eles introduzem um método para converter benchmarks padrão de NLI (que têm variância de pontuação zero por consulta) em benchmarks de classificação, injetando candidatos sintéticos graduados com distribuições de pontuação sobrepostas.

4. Resultados Experimentais

Os experimentos foram conduzidos em 50.000 explicações anotadas por humanos do e-SNLI e validados em quatro benchmarks de NLI (e-SNLI, MultiNLI, Delta-NLI, WinoWhy) e três tarefas de raciocínio de senso comum.

• Separação de Pontuação: O ListNet alcançou uma Razão de Separação de Pontuação de 0,920, comparado a 0,089 para a regressão MSE. Isso significa que o ListNet preservou a distância relativa entre os níveis de qualidade quase perfeitamente, enquanto o MSE as colapsou.
• Desempenho de Classificação:
  • ListNet alcançou discriminação quase perfeita (NDCG@5 $\approx$ 1,0, Spearman $\rho \approx$ 0,92) em todos os tamanhos de modelo.
  • Regressão MSE lutou significativamente (NDCG@5 $\approx$ 0,79).
• Convergência do PPO:
  • PPO baseado em ListNet convergiu em 1.000 passos com uma qualidade final de explicação de 4,1/5,0 e apenas 9% de erros.
  • PPO baseado em MSE falhou em convergir totalmente.
  • Classificação Binária exigiu 3.200 passos e resultou em qualidade inferior (3,2/5,0).
• Eficiência: Apesar da sobrecarga computacional do softmax listwise, o ListNet foi a abordagem de ponta a ponta mais eficiente porque os sinais de gradiente mais fortes reduziram drasticamente o número de épocas de treinamento e passos de PPO necessários.
• Escala do Modelo: Pequenos codificadores (RoBERTa-base, 125M) alcançaram desempenho de classificação quase perfeito, igualando decodificadores de 7B parâmetros, provando que dados estruturados de alta qualidade são o fator limitante, e não a capacidade do modelo.

5. Significado e Impacto

• Mudança de Paradigma: O artigo argumenta que a qualidade da explicação é inerentemente um problema de classificação, e não um problema de geração ou regressão. Isso desloca o foco de "gerar o melhor token" para "discriminar a melhor explicação".
• Estabilização do RLHF: Ao resolver o problema da compressão de pontuação, essa abordagem fornece um mecanismo robusto para treinar LLMs via PPO em tarefas que exigem raciocínio complexo e justificação, onde recompensas esparsas normalmente falham.
• Custo-Efetividade: As descobertas sugerem que organizações podem alcançar qualidade de explicação de última geração usando modelos codificadores menores e mais eficientes, se investirem na construção de datasets de classificação graduados de alta qualidade, em vez de depender exclusivamente da escalada de parâmetros do modelo.
• Generalização: O método transferiu-se com sucesso de tarefas de NLI para raciocínio de senso comum (WinoGrande, CommonsenseQA) sem ajuste fino adicional, indicando que as capacidades de classificação aprendidas são agnósticas ao domínio.

Em conclusão, o artigo demonstra que preservar a estrutura ordinal através de perdas de classificação listwise é essencial para a otimização eficaz de políticas na geração de explicações, oferecendo um caminho escalável e eficiente em dados para melhorar as capacidades de raciocínio de LLMs.