AdaJudge: Adaptive Multi-Perspective Judging for Reward Modeling

Resumo Técnico: AdaJudge

Declaração do Problema

A modelagem de recompensa é crítica para alinhar Grandes Modelos de Linguagem (LLMs) com as preferências humanas, mas as arquiteturas atuais enfrentam duas limitações estruturais fundamentais:

1. Viés Indutivo Estático: Os modelos de recompensa predominantes dependem de estratégias de agrupamento (pooling) fixas (ex: last-token pooling ou mean pooling) para condensar as representações da sequência em pontuações escalares. Isso cria um descompasso com a natureza dependente da tarefa dos sinais de preferência. Por exemplo, tarefas de raciocínio frequentemente exigem pistas terminais localizadas (favorecendo o last-token pooling), enquanto tarefas de segurança ou coerência exigem evidências holísticas e distribuídas (favorecendo o mean pooling). Uma estratégia estática única força um compromisso (trade-off), falhando frequentemente em capturar a distribuição espacial de evidências necessária para domínios específicos.
2. Descompasso Representacional: Os LLMs de base são otimizados para a previsão do próximo token (tarefas generativas), enquanto a modelagem de recompensa requer uma discriminação pareada refinada. Consequentemente, os estados ocultos brutos do modelo de base podem carecer das características necessárias para distinguir pistas de preferência sutis, como inconsistências lógicas ou violações menores de restrições, sem uma adaptação adicional.

As soluções existentes frequentemente dependem da escala de dados ou do tamanho do modelo, ou utilizam ensembles computacionalmente caros de múltiplos modelos para alcançar adaptabilidade, deixando sem solução a rigidez arquitetural fundamental dos cabeçalhos de recompensa de modelo único.

Metodologia: AdaJudge

Os autores propõem o AdaJudge (Adaptive Multi-Perspective Judging), um framework unificado de dois estágios projetado para adaptar conjuntamente a representação e o agrupamento sem exigir supervisão ao nível de token ou de processo.

Estágio I: Refinamento Adaptativo de Representação

Para abordar o descompasso representacional, o AdaJudge introduz um módulo de refinamento iterativo leve aplicado após o LLM de base.

• Mecanismo: O módulo consiste em $K$ blocos de transformer sequenciais.
• Portão de Profundidade (Depth-Gating): Um vetor de contexto global de nível de sequência (derivado via mean pooling das características do backbone) é passado por uma rede de portão para produzir coeficientes de mistura $\alpha$.
• Refinamento: A representação refinada final $\tilde{H}$ é uma combinação convexa de todos os estados ocultos intermediários ($H^{(1)}$ a $H^{(K)}$). Isso permite que o modelo enfatize dinamicamente pistas superficiais ou acumule traços de raciocínio mais profundos, dependendo da complexidade da amostra de entrada.

Estágio II: Agrupamento Multi-Perspectiva

Para abordar o viés indutivo estático, o AdaJudge substitui o readout fixo por um cabeçalho de Mistura de Agrupamento com Portão Consciente de Domínio (Domain-Aware Gated Mixture-of-Pooling).

• Especialistas Paralelos: A representação refinada $\tilde{H}$ é processada através de três especialistas de agrupamento paralelos:
  1. Last-Token Pooling ($z_L$): Captura sinais sensíveis à conclusão.
  2. Mean Pooling ($z_M$): Captura atributos globais de estilo e coerência.
  3. Attention Pooling ($z_A$): Detecta anomalias esparsas em qualquer lugar da sequência.
• Roteamento Condicionado ao Prompt: Uma representação de prompt separada ($z_P$) é derivada via mean pooling dos tokens do prompt. Uma rede de roteamento recebe o vetor concatenado $[z_L; z_M; z_A; z_P]$ e produz pesos de mistura $\pi$ via softmax.
• Pontuação Dinâmica: A pontuação de recompensa final $r(x, y)$ é uma mistura de portão das pontuações das três perspectivas ($s_L, s_M, s_A$), ponderadas por $\pi$. Isso permite que o modelo selecione adaptativamente a estratégia de agrupamento que melhor se alinha com a distribuição espacial de evidências exigida pelo prompt específico.

Otimização

O modelo é treinado usando um objetivo Focal Bradley–Terry. A função de perda inclui um termo focal para enfatizar amostras difíceis e um termo de regularização de entropia para evitar que a distribuição de roteamento colapse em uma única perspectiva, garantindo que o modelo mantenha um conjunto diversificado de estratégias de agrupamento.

Principais Contribuições

1. Identificação de Descompassos Estruturais: O artigo identifica formalmente que os backbones focados em geração carecem de características de discriminação refinadas e que o agrupamento fixo falha em capturar a natureza multigranular das evidências de preferência.
2. Framework Unificado: A introdução do AdaJudge, que adapta conjuntamente o refinamento de representação (via blocos com portão de profundidade) e o agrupamento de evidências (via roteamento consciente de domínio) sem supervisão externa.
3. Superioridade Empírica: Demonstrou desempenho consistentemente superior aos modelos de recompensa padrão (off-the-shelf) e aos baselines controlados (mesmo backbone, diferentes cabeças) em diversos domínios e escalas de modelos.

Resultados Experimentais

Os experimentos foram conduzidos no RM-Bench e JudgeBench, utilizando os modelos base Phi-3.5-mini-instruct, Qwen3-4B e Qwen3-8B treinados no conjunto de dados HelpSteer3.

• Ganhos de Desempenho: O AdaJudge superou significativamente os baselines tradicionais de agrupamento. Notavelmente, um modelo Qwen3-8B equipado com AdaJudge (71.1 geral no RM-Bench) superou um modelo muito maior, o Skywork-Reward-Gemma-2 de 27 bilhões de parâmetros (70.5), demonstrando alta eficiência de parâmetros.
• Resolução de Compromissos (Trade-offs): Os baselines estáticos exibiram perfis de desempenho conflitantes (ex: last-token pooling era excelente em segurança, mas falhava em matemática; mean pooling fazia o oposto). O AdaJudge alcançou um "melhoria de Pareto", maximizando simultaneamente o desempenho em Matemática (80.4), Segurança (87.5) e robustez em subconjuntos difíceis (43.0).
• Estudos de Ablação:
  • A remoção do estágio de refinamento resultou em quedas significativas em tarefas intensivas de raciocínio (Matemática e Código), confirmando a necessidade de adaptar o espaço de representação.
  • Os baselines de visão única estática (Last-Token, Mean, Attention) consistiram em subperformar o agrupamento adaptativo, particularmente nos subconjuntos "Difíceis" (Hard) dos benchmarks.
• Análise de Mecanismo Interno:
  • Alinhamento: O refinamento iterativo aumentou o alinhamento de cosseno entre a direção de pontuação e a verdadeira diferença de preferência, particularmente para as visões de mean e attention pooling.
  • Comportamento de Roteamento: O mecanismo de portão aprendeu padrões de agrupamento distintos por domínio (ex: maior peso em Attention pooling para Código/Matemática, e Mean pooling para Segurança), validando a capacidade do modelo de se adaptar às distribuições de evidência específicas do domínio.

Significância

O artigo argumenta que a rigidez das estratégias de agrupamento fixas é um gargalo primário na modelagem de recompensa. Ao desacoplar o refinamento da representação do agrupamento de evidências, o AdaJudge demonstra que arquiteturas dinâmicas e adaptáveis à instância podem superar as limitações dos vieses indutivos estáticos. O trabalho sugere que a modelagem de recompida futura deve ir além da escala de dados ou do tamanho do modelo, focando na flexibilidade arquitetural que alinhe as representações internas e as estratégias de agrupamento com as demandas espaciais e lógicas específicas da tarefa de avaliação.

Limitações

Os autores reconhecem diversas limitações:

• Escalabilidade: A validação é atualmente limitada a modelos de até 8 bilhões de parâmetros; a eficácia em modelos de escala extrema (70B+) permanece inexplorada.
• Latência: Embora leve, o refinamento iterativo e a rede de roteamento introduzem parâmetros adicionais e latência de inferência em comparação com os baselines padrão de agrupamento fixo.
• Biblioteca de Especialistas: A implementação atual utiliza um conjunto fixo de três especialistas de agrupamento. O framework é extensível, mas o conjunto ideal de especialistas e o potencial para descoberta automática de especialistas são questões em aberto.
• Modalidade: A avaliação é atualmente restrita à modelagem de preferência apenas de texto, com potencial de extensão para entradas multimodais.