Resumo Técnico: FPMoE – Uma Abordagem de Mistura Esparsa de Especialistas para Geração de Código Funcional

1. Declaração do Problema

Apesar dos avanços rápidos nos Modelos de Linguagem de Grande Escala (LLMs) para geração de código, linguagens de programação funcional (FPLs) como Haskell, OCaml e Scala permanecem cronicamente pouco exploradas. Modelos de fronteira existentes performam significativamente pior em FPLs em comparação com linguagens imperativas como Java, frequentemente gerando código que é funcionalmente correto, mas viola o estilo funcional idiomático (por exemplo, falhando em usar monads ou transparência referencial).

O artigo identifica um desequilíbrio estrutural de dados: a comunidade de desenvolvedores de FPL é pequena, produzindo ordens de magnitude menos código de código aberto do que linguagens mainstream. Consequentemente, escalar apenas os dados de pré-treinamento é insuficiente para fechar a lacuna de desempenho.

Os autores investigam o ajuste fino (fine-tuning) como remédio, mas encontram dois modos de falha distintos nas abordagens padrão:

1. Ajuste fino por linguagem: Treinar modelos separados para cada linguagem falha em capturar abstrações funcionais compartilhadas (por exemplo, raciocínio monádico) que se generalizam entre linguagens.
2. Ajuste fino multilíngue: Treinar um único modelo denso em uma mistura de linguagens introduz interferência entre linguagens, degradando o desempenho em linguagens individuais (particularmente OCaml).

O desafio central é preservar simultaneamente a especialização específica de cada linguagem e a generalização cruzada compartilhada entre linguagens.

2. Metodologia

Os autores propõem o FPMoE, um modelo de geração de código leve e de código aberto construído sobre uma arquitetura esparsa de Mistura de Especialistas (MoE). O pipeline de treinamento consiste em três etapas:

2.1 Coleta e Pré-processamento de Dados

• Corpora: Os dados são obtidos a partir da raspagem do GitHub do CodeParrot e do Corpus OCaml, filtrados para repositórios de Haskell, Scala e OCaml.
• Filtragem: Arquivos com comprimentos de linha excessivos (código gerado automaticamente/minificado) são descartados.
• Deduplicação: Realizada ao nível do repositório para manter a integridade estrutural.
• Descontaminação: A filtragem por N-gramas exclui dados de treinamento contendo substrings encontrados no conjunto de testes FPEval.
• Construção de Sequências: As sequências de treinamento são construídas ao nível do repositório (concatenando todos os arquivos fonte em um repositório) em vez do nível de arquivo, para preservar dependências intra-repositório e contexto de longo alcance.

2.2 Pré-treinamento de Especialistas

Duas execuções paralelas de ajuste fino supervisionado (SFT) são realizadas em um modelo base:

1. SFT Específico por Linguagem: O modelo base é ajustado finamente independentemente em cada um dos três corpora de linguagens, criando três checkpoints especializados.
2. SFT Multilíngue: Uma instância separada é ajustada finamente na união dos três corpora. Isso serve tanto como uma linha de base densa quanto como inicialização para o especialista compartilhado.

2.3 Ajuste Fino Conjunto MoE

O modelo final é montado substituindo as subcamadas de Rede Feed-Forward (FFN) do backbone do transformador por um bloco MoE-FFN especializado:

• Especialistas Roteados: Três especialistas ($E_1, E_2, E_3$) são inicializados a partir dos checkpoints específicos por linguagem. Um roteador leve usa seleção Top-K (K=2) para despachar tokens para o especialista de linguagem apropriado.
• Especialista Compartilhado: Um quarto especialista ($E_{shared}$) está sempre ativo, independentemente da decisão de roteamento. Ele é inicializado a partir do checkpoint multilíngue para codificar padrões funcionais cruzados entre linguagens (por exemplo, programação orientada a tipos).
• Objetivo de Treinamento: O modelo montado é treinado conjuntamente no corpus combinado usando um objetivo de modelagem de linguagem causal, aumentado com uma perda auxiliar de balanceamento de carga para evitar o colapso do roteamento.

3. Contribuições Principais

1. Análise do Problema: Uma demonstração empírica de que estratégias padrão de ajuste fino (por linguagem versus multilíngue) exibem modos de falha complementares que não podem ser resolvidos simultaneamente por modelos densos.
2. Arquitetura do Modelo (FPMoE): A introdução de uma arquitetura MoE esparsa que incorpora explicitamente a identidade da linguagem como um viés indutivo para roteamento. Diferentemente de abordagens MoE baseadas em dados anteriores (por exemplo, Mixtral, DeepSeekMoE), o FPMoE inicializa especialistas roteados com conhecimento específico de linguagem e emprega um especialista compartilhado dedicado e sempre ativo para capturar abstrações cruzadas entre linguagens.
3. Avaliação e Análise: Além da correção funcional, os autores avaliam a FPViolation (aderência ao estilo idiomático). Eles fornecem um estudo de ablação controlado decompondo os ganhos da arquitetura em contribuições do roteamento alinhado à linguagem e do especialista compartilhado.

4. Resultados Experimentais

Os experimentos foram conduzidos no benchmark FPEval (721 tarefas em Haskell, OCaml e Scala).

• Desempenho vs. Linhas de Base Densas: O FPMoE supera substancialmente as linhas de base de ajuste fino densas.
  • O FPMoE-Qwen2.5-4x1.5B-A3B (3B de parâmetros ativos) atinge pontuações Pass@1 de 7,37% (Haskell), 6,8% (OCaml) e 13,31% (Scala). Isso representa uma melhoria de 5 a 11 vezes em relação à sua contraparte densa de 1,5B.
  • O FPMoE-Qwen2.5-4x3B-A6B (6B de parâmetros ativos) atinge 11,00% (Haskell), 12,34% (OCaml) e 21,08% (Scala).
• Eficiência de Parâmetros: O modelo FPMoE de 6B de parâmetros ativos iguala ou supera modelos densos muito maiores, incluindo DeepSeek-Coder-6.7B e Qwen2.5-Coder-14B, ativando menos da metade de seus parâmetros. Também supera o GPT-3.5 em OCaml e Scala.
• Idiomaticidade: O FPMoE demonstra um melhor equilíbrio entre correção e aderência ao estilo funcional (menores taxas de FPViolation) em comparação com modelos de fronteira maiores, que frequentemente geram código estilo imperativo que passa nos testes, mas viola princípios funcionais.

Achados do Estudo de Ablação

• Inicialização do Especialista Compartilhado: Inicializar o especialista compartilhado a partir de um corpus multilíngue (Configuração A) é crítico. Inicializar a partir de um modelo base geral (Configuração B) ou congelá-lo (Configuração C) resulta em quedas de desempenho, às vezes abaixo das linhas de base densas.
• Necessidade do Especialista Compartilhado: Remover o especialista compartilhado (Configuração D) reduz o desempenho, confirmando seu papel na captura de abstrações cruzadas entre linguagens.
• Roteamento Alinhado à Linguagem: Remover o aquecimento específico por linguagem (Configuração E) causa uma queda significativa de desempenho, particularmente em OCaml, provando que o roteador não pode descobrir especialização puramente a partir dos dados sem o viés indutivo.

5. Significado e Alegações

O artigo alega que a especialização arquitetural direcionada oferece um caminho mais principiante para a geração de código funcional do que a escala de dados à força bruta. Os autores argumentam que:

• O ecossistema de dados de FPL é estruturalmente pequeno e improvável de crescer rápido o suficiente para suportar apenas pré-treinamento massivo.
• Modelos de fronteira treinados em corpora maiores ainda exibem altas taxas de violações idiomáticas, sugerindo que a escala de dados sozinha não resolve o problema.
• O design do FPMoE utiliza efetivamente os tokens de FPL disponíveis, separando a sintaxe específica de cada linguagem (via especialistas roteados) da lógica funcional compartilhada (via o especialista compartilhado).

Os autores posicionam o FPMoE como um passo para reduzir a barreira de entrada para a programação funcional, embora reconheçam limitações como o conjunto fixo de linguagens suportadas, potenciais problemas de footprint de memória durante a inferência e a recência dos dados de treinamento.