Exploring the Limits of Pruning: Task-Specific Neurons, Model Collapse, and Recovery in Task-Specific Large Language Models

1. Declaração do Problema

Embora os Modelos de Linguagem Grandes (LLMs) alcancem desempenho state-of-the-art, seu tamanho massivo e custos computacionais impedem a implantação em ambientes com recursos limitados. Embora a poda de neurônios seja uma técnica de compressão promissora, a maioria das pesquisas existentes foca em modelos de propósito geral. Permanece incerto se os neurônios em modelos específicos de tarefa (por exemplo, especializados em matemática ou código) contribuem uniformemente para o desempenho ou se existem "neurônios específicos de tarefa" distintos. Além disso, os limites da poda antes do colapso do modelo, a natureza da instabilidade estrutural (por exemplo, loops de geração) e a eficácia da recuperação pós-poda via ajuste fino não são bem compreendidos.

2. Metodologia

Modelos e Conjuntos de Dados

• Modelos: O estudo avaliou modelos Qwen2.5 em duas escalas: 1.5B e 7B.
  • Modelos de Matemática: Qwen2.5-Math-1.5B/7B-Instruct.
  • Modelos de Código: Qwen2.5-Coder-1.5B/7B-Instruct.
• Conjuntos de Dados:
  • Tarefas Alvo: GSM8K (Matemática) e CodeFeedback-Filtered-Instruction (Código).
  • Tarefas Distratoras: SQuAD (Resposta a Perguntas) e everyday-Conversational-cleaned (Diálogo).
  • Nota: Matemática e Código não foram tratados como distratores mútuos devido à sua lógica estrutural subjacente compartilhada.

Métrica de Seletividade Baseada em Ativação

A inovação central é uma pontuação de seletividade baseada em ativação para identificar neurônios críticos para a tarefa alvo versus aqueles associados a distratores.

1. Captura de Ativação: As ativações de neurônios ($h^{(\ell)}$) da camada intermediária SwiGLU das Redes Feed-Forward (FFN) são extraídas para prompts de tarefa alvo e distrator.
2. Cálculo de Seletividade: Para cada neurônio $n$ na camada $\ell$, uma pontuação de seletividade direcional $S_n^{(\ell)}$ é calculada:
   $$S_n^{(\ell)} = \frac{\mu_{target,n}^{(\ell)} - \mu_{distractor,n}^{(\ell)}}{\sigma_n^{(\ell)} + \epsilon}$$
   Onde $\mu$ representa a ativação média e $\sigma$ é o desvio padrão.
   • Pontuação Positiva: Relevante para a tarefa alvo.
   • Pontuação Negativa: Associada a distratores (candidatos à poda).

Estratégias de Poda

• Poda Seletiva: Remove neurônios com as menores pontuações de seletividade (amigáveis a distratores).
• Poda Aleatória: Linha de base onde neurônios são removidos aleatoriamente.
• Poda Reversa: Remove neurônios com as maiores pontuações de seletividade (críticos para a tarefa) para testar a necessidade de neurônios específicos.
• Implementação: A poda estrutural é aplicada fisicamente cortando linhas/colunas das matrizes de pesos ($W_{gate}, W_{up}, W_{down}$) nos blocos MLP. A poda é uniforme entre as camadas para manter a eficiência de hardware (divisível por 128).

Mecanismo de Recuperação

Após a poda, os modelos passam por ajuste fino LoRA (Adaptação de Baixo Rango) para recuperar o desempenho.

• Modelos de Matemática: $r=8$, LR=$2\times10^{-5}$.
• Modelos de Código: $r=16$, LR=$2\times10^{-4}$.
• Treinados por 2 épocas nos conjuntos de treinamento da tarefa alvo.

Métricas de Avaliação

• Acurácia: Exact Match (EM) para Matemática; Pass@1 no HumanEval para Código.
• Estabilidade: Detecção de "Armadilhas" (loops de degeneração, tokens EOS ausentes, texto repetitivo).
• Desempenho em Distratores: Similaridade semântica (BERTScore + SBERT) para garantir especificidade da tarefa.
• Recursos: Uso de VRAM e throughput de inferência (tokens/seg).

---

3. Contribuições Principais

1. Especialização de Neurônios Específicos de Tarefa: Evidência empírica de que LLMs específicos de tarefa contêm um pequeno subconjunto altamente especializado de neurônios (aprox. 10%) crítico para o desempenho, enquanto o restante é redundante ou relacionado a distratores.
2. Limiar de Robustez: Identificação de um limiar crítico de poda (15–20%). Além disso, a acurácia cai abruptamente e a instabilidade estrutural (armadilhas de geração) aumenta exponencialmente.
3. Validação da Poda Reversa: Demonstrou que remover apenas ~10% dos neurônios mais relevantes para a tarefa causa colapso completo do modelo, enquanto remover 30–35% dos neurônios menos relevantes preserva funcionalidade significativa.
4. Recuperação via Ajuste Fino: Mostrou que o ajuste fino LoRA pode recuperar substancialmente o desempenho mesmo em modelos podados agressivamente, mitigando tanto a perda de acurácia quanto a instabilidade de geração.

---

4. Resultados Principais

A. Poda Seletiva vs. Aleatória vs. Reversa

• Seletiva vs. Aleatória: A poda seletiva superou consistentemente a poda aleatória em todas as proporções, confirmando que a seleção baseada em ativação oferece uma vantagem sistemática.
• Poda Reversa: Remover os 10% superiores de neurônios específicos de tarefa causou colapso completo de desempenho (acurácia próxima de zero) e falhas frequentes de geração. Isso prova que informações críticas da tarefa estão concentradas em uma fração ínfima da rede.
• Poda Seletiva: Permitiu até 35% de poda com declínio gradual de acurácia, embora a estabilidade tenha sofrido em proporções mais altas.

B. Escala do Modelo e Robustez

• 7B vs. 1.5B: Modelos maiores (7B) exibiram maior redundância e puderam tolerar proporções de poda mais altas com menor perda relativa de acurácia em comparação com modelos menores (1.5B).
• Limiar: Ambas as escalas mostraram uma degradação abrupta no desempenho e um pico em "armadilhas" (loops de geração) quando a poda excedeu 15–20%.

C. Recuperação Pós-Poda (LoRA)

• O ajuste fino recuperou com sucesso o desempenho em todos os níveis de poda.
• Descoberta Contra-intuitiva: Em alguns casos (por exemplo, Qwen 1.5B Código), modelos moderadamente podados (10–15%) superaram modelos levemente podados (5%) após o ajuste fino, sugerindo que remover alguma redundância pode às vezes auxiliar o processo de ajuste fino.
• Estabilidade: O ajuste fino reduziu significativamente a frequência de armadilhas de geração, restaurando a estabilidade estrutural.

D. Eficiência de Recursos

• VRAM e Throughput: A poda levou a reduções lineares no uso de VRAM e aumentos no throughput de inferência.
  • Exemplo (Qwen-7B): 35% de poda reduziu a VRAM de 14,26 GB para 10,56 GB e aumentou o throughput de 35,83 para 42,70 tokens/seg.

E. Análise Camada por Camada

• Camadas Iniciais: Predominantemente orientadas a distratores (processamento geral).
• Camadas Intermediárias: Transição para ativações relevantes para a tarefa alvo.
• Camadas Finais: Modelos de matemática permaneceram fortemente dominados pela tarefa alvo; modelos de código mostraram uma mistura, ocasionalmente revertendo para domínio de distratores.

---

5. Significado e Implicações

• Especialização de Neurônios: O estudo fornece fortes evidências de que LLMs específicos de tarefa não são uniformemente redundantes; eles dependem de um "núcleo" de neurônios especializados. Isso desafia a suposição de que todos os neurônios contribuem igualmente.
• Limites de Poda: Define uma "zona segura" prática para poda (até ~15%) antes que a instabilidade estrutural se torne incontrolável sem recuperação.
• Estratégia de Recuperação: Valida o ajuste fino LoRA como uma estratégia de reabilitação essencial e de baixo custo para modelos podados, tornando a poda agressiva viável para implantação.
• Otimização de Hardware: Ao remover fisicamente neurônios (poda estrutural) em vez de apenas mascarar pesos, a abordagem oferece benefícios tangíveis de hardware (VRAM reduzida, maior throughput) adequados para implantação em borda.

Conclusão

O artigo conclui que modelos de linguagem específicos de tarefa possuem uma arquitetura distinta onde um pequeno subconjunto de neurônios impulsiona o desempenho da tarefa. Embora a poda agressiva risque o colapso e a instabilidade do modelo, uma combinação de poda seletiva baseada em ativação e ajuste fino LoRA pós-poda oferece um caminho robusto para implantar modelos especializados e eficientes sem sacrificar capacidades críticas.