Resumo Técnico: Aprendizado Aninhado Federado (FedNL)

Declaração do Problema

O Aprendizado Federado (AF) para Modelos de Linguagem de Grande Escala (LLMs) enfrenta dois desafios persistentes e interligados: heterogeneidade de dados (Não-IID) e distribuições de cauda longa. Em cenários realistas, as distribuições de dados dos clientes são altamente desviadas (por exemplo, dados médicos versus dados de programação), e o conhecimento crítico frequentemente reside na cauda longa, que é facilmente ofuscado pelas classes principais durante a agregação global.

As abordagens existentes focam principalmente em regularizar ou personalizar pesos de modelos estáticos (por exemplo, FedProx, FedSSI). Embora eficazes na mitigação do esquecimento catastrófico, esses métodos tratam o modelo global como um contêiner de conhecimento estático. Consequentemente, quando implantado em um cliente com dados não vistos e altamente heterogêneos, o modelo carece de plasticidade no momento do teste — a capacidade de se adaptar ao contexto atual sem atualizações de gradiente. Isso leva a desempenho subótimo em tarefas específicas de domínio onde nuances dependem do contexto.

Metodologia: Aprendizado Aninhado Federado (FedNL)

O artigo propõe o Aprendizado Aninhado Federado (FedNL), um quadro que reformula o AF de agregar conhecimento estático para aprender regras de otimização colaborativamente. Inspirando-se na teoria do Aprendizado Aninhado (AN), o FedNL trata a inferência não como um processo passivo de recuperação, mas como um processo de treinamento de "loop interno" de alta frequência, onde o modelo comprime ativamente o contexto em um estado de memória transitório.

Arquitetura Central

O FedNL reformula o AF como um sistema de otimização aninhado de três níveis:

1. Nível 0 (Loop Externo - Servidor): Generalização Colaborativa. O servidor agrega meta-regras (parâmetros $\theta$) em vez de conteúdo de memória. Essas regras governam como a memória é construída e atualizada.
2. Nível 1 (Loop Intermediário - Cliente): Aprendizado de Regras. Durante o treinamento local, os clientes otimizam $\theta$ (por exemplo, adaptadores LoRA, mecanismos de portão) para garantir que o loop interno produza estados de memória úteis para tarefas subsequentes. Isso envolve retropropagação através da trajetória de memória.
3. Nível 2 (Loop Interno - Cliente): Adaptação no Momento do Teste. Durante a inferência, os clientes usam as regras globais $\theta$ para atualizar um estado de memória privado e consciente do contexto $S_t$ online via uma Regra Delta. Este estado é transitório e nunca deixa o dispositivo.

Implementação Técnica

• Atenção Linear Baseada em Titans: O FedNL aproveita a arquitetura Titans, que utiliza um mecanismo de atenção linearizado. O estado de memória $S_t$ é atualizado via uma Regra Delta:
  $$S_t = S_{t-1} + \eta(v_t - S_{t-1}k_t)k_t^\top$$
  Esta atualização é matematicamente equivalente a um único passo de descida de gradiente em um objetivo de memória associativa, tratando efetivamente a inferência como um processo de otimização online.
• Desacoplamento de Conhecimento e Regras: O modelo consiste em uma base congelada (fornecendo capacidades linguísticas gerais) e meta-parâmetros treináveis ($\theta$). Os meta-parâmetros incluem Projeções de Baixo Rank (LoRA) para geração de consulta/chave/valor e um mecanismo de Portão de Memória ($\alpha$) para equilibrar atenção estática e dinâmica.
• Eficiência: Ao agregar apenas o pequeno conjunto de meta-regras (adaptadores) em vez de pesos completos do modelo ou estados de memória, o FedNL reduz drasticamente a sobrecarga de comunicação. Além disso, o mecanismo de atenção linear mantém complexidade de memória de inferência constante ($O(1)$) independentemente do comprimento da sequência, ao contrário da atenção padrão que requer cache KV de $O(T)$.

Principais Contribuições

1. Reenquadramento Teórico: O artigo introduz a perspectiva de Aprendizado Aninhado ao AF, formalizando o problema como o treinamento colaborativo de regras de otimização em vez de representações estáticas. Isso fornece uma base teórica para abordar questões Não-IID via adaptação no momento do teste.
2. O Quadro FedNL: Um algoritmo prático que integra atenção linear baseada em Titans no pipeline de AF. Ao tratar a Regra Delta como um passo de descida de gradiente online, ele permite Adaptação Zero-Shot no Momento do Teste em domínios não vistos sem esforço computacional pesado.
3. Superioridade Empírica: Experimentos demonstram que o FedNL alcança desempenho competitivo em raciocínio de contexto curto e ganhos superiores em recuperação de contexto longo e diagnósticos de streaming em comparação com fortes baselines federadas.

Resultados Experimentais

Os autores avaliaram o FedNL em dois cenários federados: uma divisão MMLU Não-IID de cinco clientes e um benchmark de contexto longo Needle In A Haystack (NIAH) Não-IID de sete clientes.

• MMLU Não-IID (Raciocínio de Contexto Curto):

  • Na base Qwen2.5-1.5B, o FedNL alcançou a maior precisão média (58,88%), superando ligeiramente a melhor baseline, FedSSI (58,70%).
  • Ganhos significativos foram observados nos domínios STEM (+2,0 pp) e Matemática/CS (+3,8 pp).
  • Na base Llama-3.2-1B, o FedNL atingiu 42,64% versus 42,10% para o FedSSI.
  • Crucialmente, o FedNL minimizou a "queda de agregação" (perda de desempenho ao mover de modelos locais para federados), mantendo-a próxima de zero em todos os domínios, enquanto as baselines estáticas mostraram degradação significativa.

• Recuperação de Contexto Longo (NIAH):

  • O FedNL alcançou a maior precisão média (29,7%) em sete modelos de recuperação, superando o FedALA (28,6%).
  • Os ganhos foram mais pronunciados nas tarefas MK-NIAH, MV-NIAH e código UUID.
  • Diagnósticos de Entropia Cruzada (EC) de Streaming: Em uma sonda de streaming de 16K tokens, a EC normalizada do FedAvg aumentou 3,1% à medida que o contexto se desenrolava (acumulando incerteza), enquanto o FedNL diminuiu 2,1%, indicando que o estado de memória recorrente absorveu com sucesso o contexto útil ao longo de streams longos.
  • Eficiência de Memória: O FedNL manteve memória de inferência constante, evitando erros de Memória Insuficiente (Out-Of-Memory) em 16K tokens que afetaram as baselines de atenção estática.

• Eficiência de Comunicação:

  • O FedNL reduziu a comunicação por rodada em aproximadamente 350x em comparação com o FedAvg (0,26 MB versus 22,5 MB para os parâmetros treináveis na configuração testada).

Significado e Afirmações

O artigo afirma que o FedNL estabelece uma nova direção para o Aprendizado Federado, onde os modelos evoluem de um repositório de conhecimento estático para um paradigma de aprendizado contínuo e consciente do contexto.

• Mudança de Paradigma: Ao desacoplar capacidades linguísticas gerais (base congelada) das regras de construção de memória (adaptadores treináveis), o FedNL permite que clientes diversos compartilhem "capacidades de aprendizado" em vez de "estados de conhecimento" conflitantes.
• Robustez à Heterogeneidade: Os meta-parâmetros globais não precisam codificar o conflito entre domínios díspares (por exemplo, Código versus Médico). Em vez disso, eles codificam uma regra universal: "Se o contexto envolver X, atualize a memória para armazenar Y." Isso alivia o conflito Não-IID no espaço de parâmetros.
• Adaptação Zero-Shot: O quadro permite que os modelos se adaptem a distribuições locais específicas durante os primeiros poucos tokens de inferência, puramente executando regras aprendidas de atualização de memória, resolvendo o problema de "início frio" frequentemente enfrentado por métodos de Treinamento no Momento do Teste (TTT).

Os autores observam que, embora os resultados sejam consistentes na escala de 1B–1,5B, estender o FedNL para modelos de base maiores permanece um próximo passo necessário para validar a generalidade da agregação de regras de memória.