COMPASS: COntinual Multilingual PEFT with Adaptive Semantic Sampling

Resumo Técnico: COMPASS

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) frequentemente apresentam disparidades de desempenho entre idiomas, sofrendo de "interferência cross-lingual negativa" quando submetidos a um ajuste fino (fine-tuning) multilíngue ingênuo.

• Desalinhamento Distribucional: O principal desafio identificado não é apenas a diferença linguística (sintaxe, vocabulário), mas o desalinhamento entre a distribuição dos dados de treinamento e a distribuição real de uso (produção). Dados de treinamento multilíngue muitas vezes contêm viéses de amostragem, variações tópicas ou contribuições desequilibradas de idiomas, expondo o modelo a padrões irrelevantes para o idioma-alvo e subexpondo-o a padrões cruciais.
• Limitações das Abordagens Atuais:
  • Ajuste Fino Monolíngue: Evita interferência, mas é ineficiente em termos de memória (requer um modelo por idioma) e perde os benefícios da transferência positiva entre idiomas relacionados.
  • Ajuste Fino Multilíngue "All-Data": Misturar todos os dados disponíveis frequentemente degrada o desempenho no idioma-alvo devido ao ruído e à competição por capacidade do modelo.
  • Seleção Baseada em Similaridade Linguística: Métodos que escolhem idiomas auxiliares baseados apenas em proximidade genética ou tipológica falham em capturar a similaridade semântica e de distribuição necessária para a tarefa específica.

2. Metodologia: COMPASS

O COMPASS é um framework centrado em dados que utiliza Parameter-Efficient Fine-Tuning (PEFT) combinado com uma estratégia de amostragem adaptativa baseada em semântica. O objetivo é adaptar um modelo base compartilhado a idiomas específicos usando um subconjunto judiciosamente selecionado de dados multilíngues auxiliares.

Componentes Principais:

• Arquitetura PEFT (DoRA): Utiliza Weight-Decomposed Low-Rank Adaptation (DoRA) para treinar adaptadores leves e específicos para cada idioma sobre um modelo base congelado. Isso permite a implantação de múltiplos adaptadores sem o custo de treinar modelos completos.
• Amostragem Guiada por Distribuição (Core Innovation):
  1. Embeddings e Clustering: Todos os dados (treino alvo, dados auxiliares e um conjunto de proxy para uso ao vivo) são codificados em um espaço vetorial semântico usando um modelo de embedding multilíngue (ex: Jina-Embeddings-v3). Os dados são agrupados em clusters semânticos (tópicos) usando algoritmos como HDBScan.
  2. Detecção de Lacunas: O método compara a densidade dos dados de treino do idioma alvo ($P_{train}$) com a distribuição de uso esperada ($P_{eval}$, aproximada por um conjunto de desenvolvimento) dentro de cada cluster.
  3. Ponderação de Clusters: Calcula-se uma razão de desajuste ($\rho_k$) para cada cluster. Clusters sub-representados no treino em relação ao uso real recebem pesos mais altos.
  4. Ponderação de Instâncias (Adaptativa): Dentro de cada cluster, a seleção de dados é dinâmica:
     • Em casos de grande desajuste (muita lacuna), priorizam-se exemplos prototípicos (perto do centro do cluster) para garantir cobertura básica.
     • À medida que a lacuna diminui, o método introduz gradualmente exemplos mais ambíguos (perto das fronteiras de decisão) para melhorar a robustez, evitando ruído excessivo.
  5. Diversidade: Aplica-se uma penalidade de similaridade para evitar a seleção de exemplos redundantes dentro do mesmo cluster.
• COMPASS-ECDA (Aprendizado Contínuo): Para lidar com mudanças na distribuição de dados ao longo do tempo (ex: novos jargões, mudanças de preferência), o framework inclui um mecanismo de atualização contínua:
  • Detecção de Desvio: Monitora a divergência Jensen-Shannon entre a distribuição de dados recentes e a distribuição de referência do adaptador.
  • Atualização com Ancoragem Distribucional: Quando um desvio é detectado, o adaptador é atualizado usando novos dados selecionados pelo COMPASS, mas com um mecanismo de "replay" inteligente. Em vez de replay aleatório, usa-se "âncoras distribucionais" (exemplos prototípicos de clusters estáveis anteriores) combinadas com regularização de pesos elásticos (EWC) para evitar o esquecimento catastrófico.

3. Contribuições Chave

1. Estratégia de Amostragem Consciente de Distribuição: Um método inovador que usa comparação de distribuição baseada em embeddings e clustering para selecionar dados cross-linguais, focando em preencher lacunas semânticas específicas em vez de apenas seguir similaridade linguística.
2. Desempenho Empírico Superior: Demonstração de ganhos significativos em benchmarks multilíngues (Global-MMLU, MMLU-ProX) e tarefas de contexto longo (OneRuler) em três arquiteturas diferentes (Phi-4-Mini, Llama-3.1-8B, Qwen2.5-7B), superando métodos baseados em similaridade linguística e fine-tuning ingênuo.
3. Sustentabilidade e Continuidade: Extensão do método para um ciclo de aprendizado contínuo (COMPASS-ECDA), permitindo que modelos se adaptem a mudanças de distribuição em produção sem esquecer conhecimentos anteriores.
4. Análise de Eficiência de Dados: Prova que uma quantidade moderada de dados auxiliares estrategicamente selecionados (ex: 80% do tamanho dos dados alvo) é suficiente para superar grandes volumes de dados não filtrados.

4. Resultados Principais

• Superioridade sobre Baselines: O COMPASS superou consistentemente o ajuste fino monolíngue, o ajuste fino com todos os dados (que causou regressão de desempenho), e métodos de seleção baseados em ranking linguístico (LangRank) ou similaridade (LangSim).
• Idiomas de Baixos Recursos (LRLs): Os ganhos foram mais pronunciados em idiomas com poucos recursos, onde a transferência cross-lingual direcionada é mais crítica. O modelo Phi-4-Mini, que sofreu regressões multilíngues em versões anteriores, recuperou e superou seu desempenho inicial.
• Contexto Longo: O método melhorou a capacidade de raciocínio em contextos longos (até 128k tokens) para idiomas de baixos recursos, transferindo a capacidade de "longo contexto" aprendida em idiomas ricos para idiomas pobres através do alinhamento semântico.
• Aprendizado Contínuo: Na simulação de mudanças de distribuição (desvio de domínio), o COMPASS-ECDA alcançou um equilíbrio Pareto-ótimo entre a adaptação a novas tarefas e a retenção de conhecimento antigo, superando métodos como EWC puro ou replay aleatório.
• Ablação: A análise mostrou que a qualidade do modelo de embedding é crítica; embeddings de baixa qualidade degradam o desempenho abaixo da linha de base. A ponderação de clusters foi identificada como o componente mais importante da seleção.

5. Significado e Impacto

O COMPASS representa uma mudança de paradigma na adaptação multilíngue de LLMs:

• Do "Tamanho" para a "Qualidade Distribucional": Demonstra que a eficácia não depende apenas da quantidade de dados, mas de quão bem a distribuição dos dados de treino alinha com a distribuição de uso real do idioma-alvo.
• Solução Sustentável: Ao combinar PEFT eficiente com seleção de dados inteligente e aprendizado contínuo, oferece uma solução viável para manter modelos multilíngues de alto desempenho em ambientes dinâmicos, reduzindo custos computacionais e de armazenamento.
• Equidade Linguística: Ao melhorar o desempenho de idiomas de baixos recursos sem exigir grandes quantidades de dados nativos, o framework ajuda a mitigar a desigualdade linguística na IA, permitindo aplicações mais justas e culturalmente relevantes.

Limitações Notadas: O método ainda depende da qualidade dos embeddings (viéses no encoder são propagados) e da eficiência do tokenizador do modelo base, que pode ser ineficiente para scripts não latinos. Além disso, a seleção de dados pode inadvertidamente amplificar vieses presentes nos dados auxiliares se não houver auditoria ética.