Resumo Técnico: Melhoria de Subredes Esparsas para Línguas Sub-representadas em Grandes Modelos de Linguagem

Declaração do Problema

Grandes Modelos de Linguagem (LLMs) exibem disparidades significativas de desempenho entre línguas de alto recurso e de baixo recurso. Embora o escalonamento de dados de treinamento e parâmetros do modelo melhore o desempenho multilíngue, essa abordagem é frequentemente impraticável para cenários com restrições de recursos envolvendo centenas de línguas. As estratégias de adaptação existentes enfrentam um compromisso fundamental:

• Ajuste Fino Total (Full Fine-Tuning): Frequentemente leva ao esquecimento catastrófico de capacidades de uso geral e exige recursos computacionais substanciais.
• Ajuste Fino de Parâmetros Eficientes (PEFT): Métodos como LoRA e adaptadores reduzem os custos computacionais, mas operam sem considerar explicitamente como o conhecimento é organizado dentro do modelo, potencialmente modificando parâmetros que codificam diferentes funções de forma indiscriminada.
• Abordagens ao Nível de Neurônio: Trabalhos anteriores mostraram promessa na identificação de estruturas específicas de linguagem, mas focaram amplamente em adaptação específica de tarefas (ex: tradução automática) ou interpretabilidade, em vez de um ajuste fino sistemático e direcionado para a injeção de capacidade em escala.

A questão central de pesquisa é se novas capacidades linguísticas podem ser injetadas em LLMs ao ajustar finamente apenas o subconjunto esparso de neurônios que codificam o processamento específico da língua, sem degradar as capacidades gerais existentes.

Metodologia

Os autores propõem um framework para melhorar capacidades monolíngues através do ajuste fino direcionado de subredes específicas de linguagem dentro dos componentes de Redes de Alimentação Direta (FFN). A abordagem consiste em duas etapas primárias:

1. Identificação de Neurônios via LAPE

O método utiliza a Entropia de Probabilidade de Ativação de Linguagem (LAPE), uma métrica informacional, para identificar neurônios que exibem padrões de ativação fortemente específicos de uma língua.

• Mecanismo: Para cada neurônio $i$ na camada $\ell$, a probabilidade de ativação sob entradas de uma língua $k$ ($p^k_{\ell,i}$) é estimada sobre um corpus monolíngue.
• Cálculo de Entropia: As probabilidades através de $K$ línguas são normalizadas para formar uma distribuição. O escore LAPE é calculado como a entropia de Shannon desta distribuição. Escores LAPE baixos indicam neurônios que ativam seletivamente para uma língua específica (baixa entropia), enquanto escores altos indicam neurônios agnósticos à língua.
• Critério de Seleção: Neurônios no percentil $\rho$-ésimo mais baixo (definido como 5%) de escores LAPE são selecionados, sujeitos a um limiar de atividade ($\tau_{act}$) para filtrar neurônios uniformemente inativos. Um neurônio pode pertencer a múltiplas subredes se exceder o limiar de ativação para múltiplas línguas, refletindo características linguísticas compartilhadas.
• Foco: O estudo foca nos componentes FFN, pois pesquisas prévias estabelecem que eles são o principal local de armazenamento de conhecimento factual e linguístico em transformers.

2. Ajuste Fino de Subrede Esparsa

Uma vez identificada a subrede específica da língua $S_k$ para uma língua alvo $k$, o modelo é ajustado finamente atualizando apenas os pesos associados a esses neurônios.

• Escopo de Parâmetros: Para um transformer com blocos FFN baseados em GLU, os parâmetros treináveis para um neurônio selecionado $i$ incluem as linhas correspondentes das matrizes de porta e de up-projeção ($W_{gate}[i, :], W_{up}[i, :]$) e a coluna da matriz de down-projeção ($W_{down}[:, i]$).
• Otimização: O modelo minimiza a perda de modelagem de linguagem nos dados da língua alvo enquanto mantém todos os outros parâmetros congelados.
• Eficiência: Esta abordagem atualiza apenas de 0,2% a 1% do total de parâmetros do modelo.

Principais Contribuições

1. Framework Sistemático: Introdução de um framework para melhorar línguas sub-representadas via ajuste fino de subrede esparsa, demonstrando que capacidades linguísticas podem ser injetadas atualizando menos de 1% dos parâmetros.
2. Validação Empírica: Experimentos extensos através de três modelos (LLAMA-3.1-8B, MISTRAL-NEMO-12B, AYA-EXPANSE-8B) e 12 línguas de médio e baixo recurso. O método supera consistentemente o ajuste fino total, o ajuste fino apenas de FFN, LoRA, IA3 e baselines de subconjuntos aleatórios em tarefas da língua alvo, enquanto preserva totalmente as capacidades gerais.
3. Insights Mecanísticos:
   • Assimetria de Mudança de Peso: A análise revela que os pesos de down-projection em camadas posteriores sofrem atualizações substancialmente maiores (3 a 5 vezes mais que as projeções de gate/up) em comparação com outros componentes, sugerindo que eles servem como o principal local para o re-fiação linguística.
   • Alinhamento Cross-Lingual: O ajuste fino esparso melhora o alinhamento cross-lingual (medido pela similaridade de cosseno das ativações do residual-stream) de forma mais eficaz que o ajuste fino denso, produzindo representações mais agnósticas à língua em camadas posteriores.
4. Liberação de Recursos: Publicação das identificações de neurônios específicos de língua para mais de 100 línguas e o pipeline de adaptação, fornecendo recursos práticos para a comunidade.

Resultados Experimentais

• Desempenho na Língua Alvo: A abordagem de subrede esparsa alcançou os maiores incrementos médios em benchmarks de tradução (FLORES-200, OPUS-100) e compreensão/classificação (BELEBELE, SIB-200). Por exemplo, no FLORES, as subredes direcionadas alcançaram melhorias médias de até 5 pontos BLEU sobre o modelo base, superando o ajuste fino total, que frequentemente degradava o desempenho.
• Preservação de Capacidade Geral: Ao contrário do ajuste fino total e do ajuste fino apenas de FFN, que causaram esquecimento catastrófico (ex: escores MMLU caindo de ~58 para ~22), o método esparso preservou as capacidades gerais (escores MMLU permaneceram próximos ao baseline, ~57,5 vs 58,1).
• Comparação com PEFT: Embora o IA3 tenha preservado as capacidades gerais, seus ganhos nas tarefas da língua alvo foram consistentemente menores que o método de subrede esparsa. LoRA e baselines de subconjuntos aleatórios mostraram desempenho intermediário, mas sofreram reduções perceptíveis nas capacidades gerais.
• Eficiência de Dados: O método converge mais rápido e atinge uma perda de validação menor que os baselines. Aumentar o tamanho dos dados de treinamento (até 200M de tokens) geralmente melhorou o desempenho, embora saturações ou leves declínios tenham sido observados para línguas específicas (ex: lituano, maltês), sugerindo limites de capacidade da subrede.

Significância e Alegações

O artigo alega que o ajuste fino esparso e direcionado de neurônios específicos de língua é um mecanismo viável para a adaptação de nível de capacidade linguística. A significância deste trabalho reside em:

• Democratização do Acesso: Fornecer um caminho de baixo custo para estender LLMs a línguas sub-representadas sem o ônus computacional do retreinamento total ou o risco de esquecimento catastrófico.
• Interpretabilidade Acionável: Demonstrar que insights mecanísticos (identificando neurônios específicos via LAPE) podem guiar diretamente o aprimoramento do modelo, indo além da análise post-hoc para uma otimização acionável.
• Escalabilidade: Provar que capacidades linguísticas podem ser injetadas atualizando menos de 1% dos parâmetros, um resultado que os autores notam não ter sido demonstrado nesta escala anteriormente.

Os autores concluem que este framework oferece uma base prática para pesquisas futuras sobre LLMs para línguas sub-representadas, com potenciais extensões para outras modalidades e a determinação adaptativa de tamanhos de subredes baseada na tipologia linguística.