Resumo Técnico: A Ilusão do Benchmark em LLMs Podados

Declaração do Problema

Grandes Modelos de Linguagem (LLMs) são frequentemente comprimidos via poda (pruning) para reduzir o uso de memória e os custos de inferência. Desenvolvedores tipicamente dependem de benchmarks padrão de múltipla escolha (MC) para validar se o desempenho do modelo permanece intacto após a compressão. No entanto, este artigo identifica uma "ilusão de benchmark" crítica: um modelo podado pode alcançar pontuações altas em avaliações de MC enquanto falha em gerar a resposta correta em tarefas de geração aberta e gananciosa (greedy generation).

A questão central investigada é se a poda apaga o conhecimento inteiramente ou apenas rebaixa a resposta correta, tornando-a difícil de produzir como o principal output. Os autores argumentam que os benchmarks de MC padrão criam um ponto cego de avaliação ao superestimar a usabilidade de modelos comprimidos, pois testam o reconhecimento em vez da produção.

Metodologia

O estudo utiliza uma estrutura de diagnóstico de itens pareados para distinguir entre "reconhecer" uma resposta e "produzi-la". A metodologia envolve:

1. Configuração de Teste de Estresse: Os autores utilizam Questionamento de Resposta (QA) multilíngue usando os conjuntos de dados TyDiQA e XQuAD. Eles selecionam perguntas onde o modelo não comprimido (denso) responde corretamente tanto em geração aberta quanto em formatos de MC.
2. Compressão: Os modelos (incluindo Qwen3-8B, Mistral-7B-Instruct e Phi-3-mini) são podados usando métodos de etapa única (one-shot), especificamente WANDA (alta esparsidade) e SparseGPT, sem retreinamento.
3. Avaliação de Três Níveis: As mesmas perguntas são avaliadas em três formatos para medir o "Gap de Geração" ($\Delta_{PR}$):
   • Geração Espontânea: Decodificação gananciosa (greedy decoding) sem candidatos (mais difícil).
   • Reconhecimento Provocado (Candidato Exposto): O modelo recebe a resposta correta e os distratores e deve gerar a resposta.
   • Pontuação de Múltipla Escolha (MC): O modelo pontua opções via verossimilhança (log-likelihood) para selecionar a melhor (mais fácil).
4. Métricas de Diagnóstico:
   • Taxa de Dissociação: A fração de itens que estavam corretos em ambos os formatos antes da poda, mas tornam-se erros "apenas de MC" (corretos em MC, errados em geração) após a poda.
   • Análise de Rank de Token: Inspeção do ranking do primeiro token da resposta de ouro na distribuição de probabilidade para determinar se ele foi apagado ou apenas rebaixado.
   • Recuperabilidade: Testar se métodos de decodificação mais amplos (Beam Search, Amostragem de Núcleo/Nucleus Sampling) ou prompting leve (exemplos de contexto de 1-shot) podem recuperar a resposta correta de modelos podados.

Principais Descobertas

1. O Fenômeno "Apenas-MC"

A poda frequentemente quebra a geração aberta gananciosa enquanto mantém o reconhecimento de MC intacto.

• Dissociação: Na poda de alta esparsidade (ex: WADA com esparsidade de 0,5), uma parte significativa dos itens (variando de 12% em inglês a 50% em bengali) torna-se erros "apenas de MC". O modelo falha em gerar a resposta, mas seleciona com sucesso a partir de uma lista.
• Gradiente de Suporte: As quedas de precisão são minimizadas conforme o formato de avaliação fornece mais suporte à resposta. A geração aberta sofre a maior queda (ex: 8,7 pontos percentuais), enquanto a pontuação de MC sofre a menor (2,7 pontos percentuais).

2. Rebaixamento, Não Apagamento

O artigo demonstra que a poda tipicamente rebaixa a resposta correta em vez de apagá-la.

• Ranking de Token: Para itens que se tornam "apenas-MC" após a poda, o primeiro token da resposta de ouro retém um rank mediano de 3,5 na distribuição de probabilidade. Este é um "quase acerto" (perto do topo) em vez de um enterro profundo (ex: rank 17 ou superior, visto em itens nos quais o modelo denso já falhava).
• Mecanismo: A poda desloca a massa de probabilidade perto do topo da distribuição. O token correto frequentemente cai do rank 1 para o rank 3 ou 4, fazendo com que a decodificação gananciosa selecione um competidor. Uma vez que o primeiro token está errado, os erros se acumulam.

3. Recuperabilidade

Como o conhecimento é rebaixado e não apagado, ele é frequentemente recuperável:

• Decodificação Mais Ampla: Usar Beam Search (tamanho do feixe 5) ou Nucleus Sampling (10 amostras) recupera significativamente a precisão para modelos podados. Por exemplo, a precisão do Suaíli sobe de 39% (gananciosa) para 74% (10 amostras).
• Estabilidade: Embora a precisão gananciosa caia cerca de 9,1 pontos percentuais após a poda, a "recuperabilidade de oráculo" (se a resposta existe na distribuição) cai por apenas cerca de 0,7 pontos percentuais.
• Prompting: Adicionar um único exemplo de contexto também ajuda a reduzir o gap de desempenho entre o modelo denso e o podado.

4. Limitações e Fronteiras

A hipótese do "rebaixamento" não se sustenta universalmente.

• Tamanho do Modelo: Checkpoints menores do Qwen têm maior probabilidade de perder a própria capacidade de reconhecimento subjacente, em vez de apenas rebaixar a resposta.
• Linguagem/Tokenização: As taxas de recuperação variam por idioma. Línguas de baixo recurso com tokenização complexa (ex: bengali, telugo) mostram taxas de recuperação mais baixas (12%) em comparação com outras (ex: suaíli em 59%), sugerindo perda real de conhecimento nesses casos específicos.

Contribuições

1. Uma Nova Ferramenta de Diagnóstico: Introdução de um teste de itens pareados comparando geração, reconhecimento e alcançabilidade para expor falhas induzidas pela compressão.
2. Exposição da Ilusão do Benchmark: Demonstração de que a poda agressiva frequentemente destrói as capacidades de geração aberta gananciosa enquanto preserva o reconhecimento de MC, levando a pontuações de benchmark infladas.
3. Explicação Mecanística: Evidência de que a poda principalmente rebaixa as respostas corretas para ranks inferiores (quase acertos) em vez de deletá-las, tornando-as recuperáveis via decodificação mais ampla ou prompting leve.

Significância

O artigo conclui que pontuações de benchmark retidas não garantem usabilidade retida. Os benchmarks de MC padrão criam um ponto cego ao testar o que um modelo pode reconhecer em vez do que ele pode produzir. Para avaliar com precisão a utilidade no mundo real de LLMs comprimidos, a avaliação deve priorizar a geração aberta e testar a capacidade do modelo de produzir respostas, não apenas selecioná-las de uma lista. A "ilusão do benchmark" sugere que as técnicas de compressão atuais podem ser mais frágeis em implantação prática do que os leaderboards indicam.