Resumo Técnico: KNEXA-FL

Definição do Problema

O ajuste fino (fine-tuning) de Grandes Modelos de Linguagem (LLMs) para domínios especializados enfrenta um conflito fundamental: a necessidade de dados diversos e interorganizacionais versus os requisitos rigorosos de privacidade, soberania e segurança de dados. Embora o Aprendizado Federado (FL) ofereça um paradigma para o treinamento colaborativo sem a troca de dados brutos, sua forma centralizada canônica introduz um agregador central confiável. Esta entidade atua como um ponto único de falha e uma superfície de ataque privilegiada para ataques de inversão de modelo, que podem reconstruir dados de treinamento sensíveis.

O Aprendizado Federado Descentralizado (DFL) mitiga esses riscos removendo o servidor central em favor da comunicação direta ponto a ponto (P2P). No entanto, as arquiteturas de DFL existentes tipicamente dependem de estratégias de pareamento de pares ineficientes, aleatórias ou estáticas. Essa abordagem de "passeio aleatório" (random-walk) é estatisticamente ineficiente, cega à heterogeneidade dos agentes e corre o risco de "transferência negativa", onde pares mal combinados degradam o desempenho uns dos outros. A dicotomia prevalente entre um agregador centralizado vulnerável e a interação P2P aleatória ineficiente limita o potencial da IA colaborativa.

Metodologia: O Framework KNEXA-FL

O artigo apresenta o KNEXA-FL, um novo framework para "descentralização orquestrada" que resolve o compromisso entre segurança e eficiência. O sistema opera como um espaço de dados de conhecimento descentralizado onde os agentes permanecem soberanos e o conhecimento é trocado via destilação segura, em vez de dados brutos ou parâmetros do modelo.

Arquitetura do Sistema

O framework compreende três componentes lógicos:

1. Agentes de LLM: Entidades autônomas que detêm um modelo base congelado ($W_0$) e um módulo de Ajuste Fino de Parâmetros Eficientes (PEFT) treinável (principalmente LoRA). Cada agente opera com um Gateway Local dotado de um Filtro de Guardrail para evitar a divulgação de dados sensíveis.
2. Perfilador Central/Matchmaker (CPM): Uma entidade confiável, mas não agregadora. Sua única função é orquestrar as interações P2P. Ele recebe perfis de agentes abstratos e preservadores de privacidade, mas nunca acessa os dados brutos ou os modelos em si.
3. Canais P2P Seguros: Conexões diretas, efêmeras e criptografadas estabelecidas entre agentes combinados para a troca de conhecimento.

Mecanismos Principais

• Destilação de Conhecimento Adaptativa (AKD): Para lidar com a heterogeneidade de arquitetura e de tokenização, o KNEXA-FL utiliza destilação baseada em texto. Um agente "professor" gera previsões de texto em um conjunto de transferência compartilhado e validado por privacidade. O agente "aluno" recodifica essas previsões usando seu próprio tokenizador para criar sequências de alvos suaves (soft targets), minimizando a perda de entropia cruzada de nível de token. Isso garante a compatibilidade, independentemente das diferenças entre os modelos.
• Matchmaking de Bandidos Contextuais: O CPM formula o problema de pareamento P2P como um problema de bandido combinatório contextual.
  • Perfis: Os agentes enviam vetores de perfil abstratos ($p_i$) contendo características estáticas (família do modelo, configuração de PEFT), características dinâmicas (desempenho da tarefa, perplexidade) e características históricas de confiança.
  • Algoritmo: O CPM emprega o algoritmo LinUCB para aprender uma política de matchmaking otimizada. Ele modela o retorno esperado de um pareamento com base em vetores de contexto e seleciona pares disjuntos que maximizam um Limite Superior de Confiança (UCB), equilibrando a exploração de pares conhecidos de boa qualidade com a exploração de novas sinergias potenciais.
  • Sinal de Recompensa: A recompensa é calculada com base na redução da perda local alcançada pelo agente aluno, penalizada pelos custos de comunicação. Isso permite que o CPM aprenda a desvalorizar pares de baixa utilidade ou maliciosos ao longo do tempo.

Principais Contribuições

1. Descentralização Orquestrada: O artigo propõe o KNEXA-FL, uma arquitetça híbrida que resolve a ineficiência de matchmaking do DFL sem reintroduzir as vulnerabilidades de segurança de um agregador central de modelos.
2. Formulação de Bandido Contextual: É o primeiro trabalho a formular a colaboração de LLM P2P como um problema de bandido contextual. O CPM usa LinUCB para otimizar dinamicamente o grafo de conhecimento P2P com base em recompensas de interação, em vez de depender de heurísticas estáticas ou seleção aleatória.
3. Validação Empírica: O framework é validado em uma tarefa desafiadora de geração de código, demonstrando ganhos substanciais de desempenho e convergência estável onde outros métodos falham.

Resultados Experimentais

Os experimentos foram conduzidos em uma federação de 6 clientes heterogêneos (usando modelos como Qwen, Cerebras-GPT, BLOOM e Pythia) com distribuições de dados não-IID derivadas dos benchmarks HumanEval e MBPP.

• Ganhos de Desempenho: O KNEXA-FL alcançou um Pass@1 de 13,33%, representando um melhoria relativa de ~50% sobre a colaboração Random-P2P (8,89%) e uma melhoria de 100% sobre uma linha de base P2P baseada em heurística (6,67%).
• Estabilidade vs. Colapso Centralizado: Uma linha de base forte de destilação de conhecimento centralizada (Central-KD) sofreu um colapso de desempenho catastrófico, caindo de um pico de 18,33% para um final de 2,00% de Pass@1 devido à interferência destrutiva de parâmetros e esquecimento catastrófico. Em contraste, o KNEXA-FL demonstrou convergência estável.
• Eficácia do Matchmaking: A política aprendida pelo CPM permitiu que um aluno atingisse 86,70% de Pass@1 em um conjunto de transferência durante a colaboração, uma melhoria de 2,6x sobre o melhor pareamento encontrado pelo acaso (random chance). Isso confirma que o CPM descobre ativamente transferências de conhecimento sinérgicas.
• Escalabilidade: Experimentos sintéticos com até 64 clientes mostraram que o CPM aprimorado pelo LinUCB escala de forma robusta, com ganhos de desempenho atingindo o pico de ~48,5% em cenários de alta heterogeneidade.

Significância e Alegações

O artigo argumenta que a orquestração adaptativa e baseada em aprendizado é um princípio fundamental para construir ecossistemas de IA descentralizados robustos. Ao tratar a seleção de pares como um problema aprendível em vez de um processo estático ou aleatório, o KNEXA-FL navega com sucesso pelos compromissos entre diversidade e compatibilidade.

Os autores alegam que seu trabalho estabelece um novo paradigma onde:

• A governança é emergente: Confiança e utilidade são propriedades aprendidas do sistema, permitindo que o CPM despriorize naturalmente pares de baixa qualidade sem políticas estáticas baseadas em regras.
• A privacidade é preservada: O CPM não agregador e a destilação baseada em texto garantem que nem os dados brutos nem os parâmetros do modelo sejam expostos, embora permitam uma transferência de conhecimento eficaz.
• A heterogeneidade é um ativo: Ao contrário das abordagens centralizadas que lutam contra a heterogeneidade estatística, a abordagem P2P orquestrada aproveita a diversidade para alcançar um desempenho coletivo superior.

O trabalho posiciona a orquestração guiada por perfilador como uma alternativa robusta tanto ao FL centralizado inseguro quanto aos sistemas P2P aleatórios ineficientes, oferecendo um caminho para uma inteligência colaborativa eficaz e preservadora de privacidade.