The Cost of Down-Scaling Language Models: Fact Recall Deteriorates before In-Context Learning

Problema
Embora se saiba que o aumento de escala de Grandes Modelos de Linguagem (LLMs) gera ganhos de desempenho, implantar esses modelos de forma sustentável exige reduzi-los de escala. A pesquisa existente sobre a redução de escala (via poda ou treinamento de modelos densos menores) baseia-se principalmente em métricas agregadas como perplexidade ou acurácia em tarefas de downstream em benchmarks padrão. No entanto, essas métricas podem ocultar disparidades sutis, mas críticas, na forma como diferentes capacidades fundamentais evoluem. Especificamente, permanece incerto se a redução do tamanho do modelo afeta de forma diferente a capacidade de recordar fatos armazenados nos pesos (conhecimento de pré-treinamento) da capacidade de processar informações fornecidas no contexto durante a inferência (aprendizado em contexto, ou ICL).

Metodologia
Os autores elaboram um conjunto de tarefas projetadas para desmembrar duas capacidades fundamentais: (1) Recall de Fatos (Fact Recall), a capacidade de recuperar informações armazenadas nos pesos do modelo a partir do pré-treinamento, e (2) Aprendizado em Contexto (ICL), a capacidade de processar e aprender com informações apresentadas no contexto de entrada.

O estudo avalia essas capacidades sob duas abordagens distintas de redução de escala:

1. Poda de Pesos (Weight Pruning): Utilizando algoritmos de poda de etapa única (one-shot) (SparseGPT e Wanda) para remover parâmetros de modelos pré-treinados (OPT-13B/30B, LLaMA-13B/33B e Pythia-12B) sem retreinamento.
2. Escalonamento Denso (Dense Scaling): Comparando modelos densos treinados independentemente de vários tamanhos (por exemplo, 13B vs. 30B parâmetros) treinados em dados semelhantes.

O conjunto de avaliação inclui:

• Q&A de livro fechado (Closed-book Q&A): Tarefas que exigem o recall de fatos sem contexto (ex: TriviaQA, WebQuestions).
• Q&A de livro aberto (Open-book Q&A): Tarefas onde a resposta é fornecida no contexto (ex: TriviaQA com evidência).
• Q&A de sobreposição (Overriding Q&A): Tarefas onde o contexto contradiz fatos do pré-treinamento (ex: DisentQA), forçando a dependência do contexto.
• Aprendizado de Função Parametrizada: Tarefas onde o modelo deve aprender uma função (classificadores lineares, redes neurais de 2 camadas, árvores de decisão) a partir de exemplares de entrada-saída no contexto, isolando o ICL do conhecimento de fundo.

Resultados Principais
O estudo revela uma disparidade impressionante na forma como o escalonamento afeta o recall de fatos versus o ICL:

• Sensibilidade do Recall de Fatos: Reduzir o tamanho do modelo em mais de 30% (via poda ou escalonamento denso) degrada significativamente a capacidade de recordar fatos vistos durante o pré-treinamento. Para Q&A de livro fechado, a acurácia cai mais de 5% (em relação aos modelos densos) em níveis de esparsidade de 30–40%.
• Resiliência do ICL: Em contraste, as capacidades de ICL resistem à redução agressiva de escala. Os modelos mantêm sua capacidade de processar contexto, recuperar respostas de evidências fornecidas e aprender funções parametrizadas mesmo quando 60–70% dos pesos são removidos. Para Q&A de livro aberto e de sobreposição, bem como tarefas de aprendizado algorítmico, a acurácia permanece dentro de 5% da linha de base densa nesses altos níveis de esparsidade.
• Especificidade de Camada: Uma análise adicional indica que as camadas Feed-Forward (FFW) são mais críticas para o recall de fatos do que as camadas de atenção, enquanto ambos os tipos de camada parecem igualmente importantes para o ICL.
• Consistência: Esses efeitos díspares são observados em diferentes famílias de modelos (OPT, LLaMA, Pythia) e diferentes algoritmos de poda (SparseGPT, Wanda).

Significância e Contribuições
O artigo contribui com um conjunto de benchmarks para avaliar os efeitos díspares da redução de escala nas capacidades principais de LLMs. Sua principal descoberta é que o escalonamento do tamanho do modelo tem um efeito inerentemente díspar: o recall de fatos é frágil sob redução de escala, enquanto o ICL é robusto.

Os autores sugerem várias implicações baseadas nessas descobertas:

• Eficiência de Inferência: Profissionais podem rotear tarefas que dependem fortemente do processamento de contexto para modelos menores e podados sem perda significativa de desempenho, reservando modelos maiores para tarefas que exigem um recall de fatos profundo.
• Design de Sistemas: Os resultados apoiam o uso de aumento de memória (geração aumentada por recuperação ou RAG) para modelos com redução de escala. Ao transferir o recall de fatos para um sistema externo e fornecer os fatos no contexto, modelos menores podem manter alta utilidade apesar de sua capacidade reduzida de armazenamento interno de fatos.
• Interpretabilidade: A resiliência do ICL à poda agressiva sugere que um conjunto relativamente pequeno de pesos pode ser responsável pelas capacidades de aprendizado em contexto, oferecendo um caminho potencial para isolar mecanismos neurais específicos.

Os autores concluem que essas descobertas destacam a necessidade de ir além de métricas agregadas ao avaliar o escalonamento de modelos, uma vez que diferentes capacidades escalam de forma não uniforme.