Resumo Técnico: SelfJudge: Decodificação Especulativa Mais Rápida via Verificação de Juiz Auto-supervisionado

1. Declaração do Problema

Modelos de Linguagem de Grande Porte (LLMs) enfrentam latência significativa de inferência devido ao processo de geração autoregressiva, que exige o acesso a todos os parâmetros do modelo a cada passagem forward. A Decodificação Especulativa (SD) aborda isso utilizando um modelo "rascunho" menor para propor tokens candidatos, que são então verificados em paralelo pelo modelo "alvo" maior.

No entanto, a SD padrão depende de verificação baseada em alinhamento (por exemplo, amostragem de rejeição), que aceita tokens do rascunho apenas se sua probabilidade sob o modelo alvo for igual ou superior à do modelo rascunho. Essa abordagem é excessivamente conservadora; ela rejeita tokens que são semanticamente coerentes, mas exibem discrepâncias lexicais menores (por exemplo, "É" vs. "Ele é") em relação à distribuição de saída específica do modelo alvo.

Métodos recentes de "Decodificação de Juiz" tentam relaxar esses critérios usando um verificador aprendível para aceitar tokens semanticamente compatíveis. No entanto, abordagens existentes enfrentam limitações críticas:

• Dependência de Anotação Humana: Métodos como JudgeDecoding exigem rótulos humanos subjetivos para aceitação de tokens, introduzindo viés e problemas de escalabilidade.
• Dependência de Verdade Terrena: Métodos automatizados como AutoJudge dependem de verdades terrenas verificáveis específicas da tarefa (por exemplo, respostas finais em matemática ou código). Como demonstrado no artigo, esses métodos falham ao generalizar para tarefas de fim aberto (por exemplo, MMLU, sumarização) onde não existe uma única resposta correta, levando a uma degradação significativa de desempenho em domínios gerais de PNL.

2. Metodologia: SelfJudge

Os autores propõem o SelfJudge, um framework que permite a verificação por juiz em diversas tarefas de PNL sem supervisão humana ou verdades terrenas verificáveis. A inovação central é um paradigma de treinamento auto-supervisionado onde o próprio modelo alvo gera os dados de treinamento para o verificador.

2.1. Rotulagem de Tokens de Preservação Semântica

Em vez de verificar a correção da resposta, o SelfJudge mede a preservação semântica. O processo envolve três etapas:

1. Identificar Tokens Incompatíveis: O modelo alvo gera uma resposta $y$. As previsões do modelo rascunho são comparadas com a saída do alvo. Tokens onde a previsão principal do modelo rascunho ($z_i$) difere do token do alvo ($y_i$) são identificados como candidatos para verificação relaxada.
2. Calcular Pontuação de Preservação Semântica: Para cada token incompatível, o sistema calcula uma pontuação $s(y, z_i)$ representando o quão bem a substituição preserva o significado da resposta original. Isso é definido como a diferença de verossimilhança logarítmica entre a resposta original e a resposta com substituição de token sob a distribuição do modelo alvo:
   $$s(y, z_i) = \log P(z_i | y_{<i}, y_{>i}) - \log P(y_i | y_{<i}, y_{>i})$$
   Crucialmente, essa pontuação incorpora contexto bidirecional (tanto o prefixo $y_{<i}$ quanto o sufixo $y_{>i}$). Os autores argumentam que considerar o sufixo reduz a incerteza sobre a aceitabilidade do token em comparação com abordagens de apenas prefixo.
3. Rotulagem: Se a pontuação de preservação semântica exceder um limiar $\tau$, o token substituído é rotulado como "aceitável". Isso permite que o sistema gere automaticamente dados de treinamento de alta qualidade em qualquer domínio de tarefa, incluindo geração de fim aberto.

2.2. Treinamento do Verificador

O conjunto de dados gerado consiste em pares de representações ocultas do modelo alvo e seus respectivos rótulos de aceitar/rejeitar. Um classificador logístico leve é treinado nesses dados para atuar como o verificador de juiz. Durante a inferência, esse verificador opera em paralelo com a verificação padrão baseada em alinhamento; um token é aceito se qualquer uma das verificações de alinhamento ou o verificador de juiz o aprovar.

3. Contribuições Principais

• Framework Auto-supervisionado: O artigo introduz o SelfJudge, a primeira abordagem de verificação por juiz que treina verificadores usando o próprio entendimento semântico do modelo alvo, eliminando a necessidade de anotações humanas ou verdades terrenas específicas da tarefa.
• Critério de Preservação Semântica: Os autores propõem uma métrica inovadora para aceitabilidade de tokens baseada na diferença de verossimilhança de respostas com substituição de token, permitindo a geração automática de supervisão para tarefas de fim aberto.
• Análise de Contexto Bidirecional: O método utiliza informações de sufixo (tokens futuros) para calcular pontuações de preservação semântica, reduzindo teoricamente a incerteza na seleção de tokens em comparação com bases de apenas prefixo.
• Generalização: A abordagem é projetada para generalizar em diversas tarefas de PNL, incluindo raciocínio matemático, geração de código, sumarização e QA de conhecimento geral.

4. Resultados Experimentais

Os autores avaliaram o SelfJudge usando as famílias de modelos Llama-3 e Qwen-2.5 em cinco benchmarks: GSM8K, MATH-500, MMLU, CNN/DailyMail e LiveCodeBench.

• Compromisso Precisão-Eficiência: O SelfJudge superou consistentemente as bases (SD Padrão, Top-k e AutoJudge).
  • Em GSM8K e MATH-500, o SelfJudge alcançou comprimentos de tokens aceitos mais altos do que a SD Padrão com perda mínima de precisão (por exemplo, +2,17 tokens aceitos com apenas -1,6% de queda de precisão em média).
  • Em MMLU e CNN/DailyMail, onde o AutoJudge falhou em fornecer acelerações (ou degradou o desempenho significativamente), o SelfJudge manteve ganhos de desempenho consistentes.
• Aceleração de Relógio de Parede: Implementado no vLLM, o SelfJudge demonstrou melhorias significativas de vazão no mundo real. Em MMLU com Llama-3.1-8B, o SelfJudge alcançou uma aceleração de 46,3% sobre a SD Padrão e uma melhoria de 42,7% sobre o AutoJudge-R, mantendo precisão comparável.
• Escalabilidade: Experimentos no modelo Llama-3.1-70B mostraram que o SelfJudge escala efetivamente, melhorando o comprimento aceito e a velocidade sem sacrificar a qualidade da geração.
• Eficiência de Geração de Dados: O processo de geração de dados auto-supervisionado é significativamente mais rápido do que a geração baseada em verdade terrena do AutoJudge. Para 53 mil rótulos em um modelo de 70B, o SelfJudge levou 8,5 horas em comparação com as 120 horas estimadas do AutoJudge.

5. Significado e Alegações

O artigo alega que o SelfJudge representa uma mudança de paradigma na verificação de decodificação especulativa. Ao afastar-se da dependência de viés humano ou verdades terrenas rígidas, oferece uma solução amplamente aplicável para acelerar a inferência de LLMs em todo o espectro de tarefas de PNL.

Os autores enfatizam que seu método alcança um compromisso superior entre velocidade de inferência e desempenho da tarefa. Ao contrário de métodos anteriores de decodificação por juiz restritos a domínios com respostas verificáveis, o SelfJudge permite decodificação especulativa eficiente para tarefas de fim aberto (como escrita criativa e sumarização) aproveitando o entendimento semântico intrínseco do modelo alvo. O artigo conclui que essa abordagem estabelece uma base prática e escalável para inferência eficiente de LLMs, tornando modelos avançados mais acessíveis ao reduzir custos computacionais.