Improving LLM First-Token Predictions in Multiple-Choice Question Answering via Output Prefilling

Título: Melhorando as Previsões do Primeiro Token em LLMs para Resposta a Perguntas de Múltipla Escolha via Preenchimento de Saída (Output Prefilling)

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) são frequentemente avaliados em tarefas de Resposta a Perguntas de Múltipla Escolha (MCQA) utilizando a métrica de Probabilidade do Primeiro Token (First-Token Probability - FTP). Neste método, o modelo seleciona a opção de resposta cuja inicial (o primeiro token gerado) possui a maior probabilidade.

Embora o FTP seja eficiente e não exija decodificação autoregressiva completa, o artigo identifica que ele é frágil e propenso a dois tipos principais de falhas que comprometem a confiabilidade da avaliação:

1. Desalinhamento do Primeiro Token (First-Token Misalignment): O modelo ignora o formato esperado e gera frases completas (ex: "Acredito que a resposta é A") ou strings ambíguas, onde o primeiro token não é uma opção válida (A, B, C, D).
2. Má Interpretação do Primeiro Token (First-Token Misinterpretation): O modelo gera um token válido como primeiro caractere, mas este serve apenas a uma função gramatical ou estilística, não representando a resposta real.
   • Exemplo: A resposta "Uma possível resposta poderia ser C" começa com o token 'A' (válido), mas a resposta correta é 'C'. O FTP interpretaria erroneamente 'A' como a escolha do modelo.

Essas ambiguidades introduzem ruído nas métricas de precisão e tornam as comparações entre modelos e prompts inconsistentes.

2. Metodologia: Output Prefilling

Os autores propõem uma solução simples e de custo zero chamada Output Prefilling (Preenchimento de Saída). A técnica consiste em:

• Conceito: Adaptar uma técnica originalmente usada em segurança de IA (ataques de injeção de prompt) para fins benéficos. Em vez de apenas instruir o modelo no input, insere-se um prefixo de linguagem natural estruturado diretamente no início da resposta do assistente (no output), antes que o modelo comece a gerar tokens.
• Implementação: O prefixo é inserido imediatamente após o token de controle de início da resposta do assistente (ex: <|assistant|>).
  • Template Exemplo: "Dada a pergunta e as opções possíveis, minha resposta é: "
• Mecanismo: Ao "preencher" a saída com esse prefixo, o modelo é forçado a continuar a geração a partir desse contexto. Isso alinha o comportamento do modelo para que o próximo token gerado (o primeiro token real da resposta) seja diretamente a opção simbólica desejada (A, B, C ou D), reduzindo a probabilidade de gerar preâmbulos ou frases explicativas.
• Vantagem: Mantém a eficiência do FTP (sem decodificação completa) e não requer ajuste fino (fine-tuning) ou modificação dos parâmetros do modelo.

3. Contribuições Principais

1. Identificação de Falhas Sistêmicas: O trabalho quantifica rigorosamente os problemas de desalinhamento e má interpretação em LLMs modernos, mostrando como eles distorcem as métricas de avaliação padrão.
2. Método de Preenchimento de Saída: Propõe o Output Prefilling como uma intervenção robusta e de baixo custo para corrigir essas falhas, transformando o FTP em um método mais confiável.
3. Avaliação Abrangente: Realiza testes extensivos em diversos benchmarks (MMLU, RACE, OBQA, SIQA, etc.) e modelos (Llama-3.1, Qwen, Gemma, Mistral, Phi-4), demonstrando a generalidade da técnica.
4. Análise de Calibração e Robustez: Vai além da precisão, analisando como o método melhora a calibração (confiança vs. precisão) e a consistência estrutural da saída.

4. Resultados Experimentais

Os experimentos demonstraram melhorias significativas em comparação com o FTP padrão e com abordagens de prompt engineering tradicionais:

• Aumento de Precisão: O método Prefilling superou consistentemente o FTP padrão.
  • Exemplo: O modelo Gemma-2-9B teve um ganho médio de +25,9 pontos de precisão. O Gemma-7B melhorou em +14,9 pontos.
  • Modelos fortes como Llama-3.1-8B e Phi-4-14B também apresentaram ganhos consistentes (+6,0 e +7,3 pontos, respectivamente).
• Comparação com Geração Aberta: A precisão obtida com Prefilling foi frequentemente comparável ou superior àquela obtida com geração de texto livre (open-ended) seguida de classificação por outro LLM (como GPT-3.5 ou xFinder), mas com uma eficiência computacional muito maior (sem necessidade de decodificação completa ou modelos auxiliares).
• Melhoria na Validação de Token (FTVR): Em avaliações de vocabulário completo (onde o modelo não é restrito a um conjunto de tokens), o Prefilling aumentou drasticamente a taxa de validade do primeiro token (FTVR), garantindo que o modelo realmente comece com uma opção válida.
• Calibração: O método melhorou a calibração do modelo (redução do Adaptive Calibration Error - ACE e Log Loss), indicando que as probabilidades de confiança do modelo tornaram-se mais alinhadas com a precisão real, reduzindo a superconfiança em respostas erradas.
• Consistência Estrutural: A métrica de "Diversidade de Continuação" (CD) diminuiu, mostrando que o modelo segue um formato simbólico mais estável após o primeiro token.

5. Significado e Conclusão

O artigo estabelece que o Output Prefilling é uma intervenção simples, robusta e de custo zero que resolve problemas fundamentais na avaliação de LLMs em tarefas de múltipla escolha.

• Impacto Prático: Permite que pesquisadores e desenvolvedores utilizem a avaliação baseada no primeiro token (FTP) com muito mais confiança, sem a sobrecarga computacional de gerar textos longos e classificá-los posteriormente.
• Reprodutibilidade: Oferece um padrão para benchmarks futuros, garantindo que as comparações entre modelos não sejam distorcidas por falhas de formatação ou interpretação de tokens.
• Segurança e Alinhamento: Demonstra como técnicas originalmente vistas como "ataques" (preenchimento de saída) podem ser reutilizadas para melhorar o alinhamento e a utilidade dos modelos em cenários controlados.

Em resumo, o trabalho sugere que, para tarefas de MCQA, forçar o modelo a começar sua resposta com um prefixo estruturado é a maneira mais eficiente de garantir que a avaliação reflita a verdadeira capacidade de raciocínio do modelo, e não apenas sua tendência a gerar preâmbulos verbais.