Resumo Técnico: ProToken – Atribuição ao Nível de Token para Grandes Modelos de Linguagem Federados

1. Declaração do Problema

O Aprendizado Federado (FL - Federated Learning) permite o treinamento colaborativo de Grandes Modelos de Linguagem (LLMs) através de fontes de dados distribuídas e privadas, sem centralizar os dados brutos. Embora isso preserve a privacidade, cria um cenário de "caixa preta" em relação à proveniência do modelo. Quando um LLM federado global gera uma resposta específica, não fica claro qual(is) cliente(s) contribuiu(íram) para esse resultado. Essa falta de atribuição dificulta aplicações críticas de sistema, incluindo:

• Depuração (Debugging): Identificar qual cliente introduziu comportamentos problemáticos ou dados envenenados.
• Verificação de Confiança: Validar se o modelo global reflete as contribuições pretendidas.
• Alocação de Recompensa Justa: Alocar incentivos com base na contribuição real.
• Identificação de Clientes Maliciosos: Detectar participantes que injetam backdoors ou padrões adversários.

Técnicas de interpretabilidade existentes para modelos centralizados (ex: integração de gradiente, análise de perturbação) são inaplicáveis porque assumem o acesso aos dados de treinamento brutos e arquiteturas de modelo único. Além disso, os métodos padrão de depuração de FL são projetados para tarefas de classificação com saídas discretas, falhando em abordar a natureza de comprimento variável e autorregressiva da geração de LLMs. Um desafio central é distinguir se um token gerado provém dos dados de treinamento federados de um cliente específico ou do conhecimento pré-existente do pré-treinamento do modelo.

2. Metodologia: ProToken

O ProToken é uma metodologia de proveniência projetada para atribuir a geração ao nível de token em LLMs federados a clientes específicos, aderindo estritamente às restrições de privacidade de FL (ou seja, operando apenas em atualizações de modelo, ativações e gradientes, não nos dados brutos).

Insights Principais

O ProToken aproveita três insights estruturais fundamentais para tornar a atribuição tratável e precisa:

1. Agregação Linear: Estratégias de agregação de FL (ex: FedAvg, FedProx) são lineares ao nível de parâmetros. Isso permite que a computação do forward do modelo global seja matematicamente decomposta em uma soma ponderada de computações por camada de cada cliente.
2. Especialização de Camadas: Arquiteturas Transformer concentram sinais específicos de tarefas em blocos posteriores (especificamente nas projeções de saída de self-attention e nas camadas finais de feed-forward). Camadas iniciais capturam características linguísticas genéricas, enquanto camadas posteriores codificam o conhecimento específico que influencia a saída final.
3. Relevância Baseada em Gradiente: Nem todos os neurônios são relevantes para gerar um token específico. O peso baseado em gradiente filtra ativações neurais irrelevantes, focando a atribuição apenas nos neurônios que influenciam diretamente a previsão do token.

Fluxo de Trabalho Técnico

O processo de atribuição opera durante a geração autorregressiva de uma resposta:

1. Seleção de Camadas: Em vez de rastrear todos os parâmetros (o que é computacionalmente proibitivo), o ProToken restringe a análise a um subconjunto estratégico de camadas: a camada de Projeção de Saída do mecanismo de self-attention e a última camada do MLP dentro dos últimos $N$ blocos transformer.
2. Atribuição por Token: Para cada token $x_j$ gerado, o sistema calcula um score de proveniência para cada cliente $i$.
   • O modelo global processa a entrada para gerar estados ocultos ($h^\ell_G$) e gradientes ($g^\ell_{x_j}$) para as camadas selecionadas.
   • Para cada cliente $i$, o sistema simula como a saída da camada seria ($h^\ell_i$) se os pesos específicos do cliente fossem usados, mantendo a entrada da passagem forward global.
   • O score de contribuição do cliente para o token é calculado como o produto escalar da ativação hipotética do cliente e o gradiente global:
     $$P^\ell_{i, x_j} = \langle h^\ell_i, g^\ell_{x_j} \rangle$$
   • Este score é somado através das camadas selecionadas para obter um score por token e, em seguida, acumulado através de toda a sequência gerada para produzir um score de atribuição de nível de sequência final.
3. Normalização: Os scores são normalizados via softmax para produzir uma distribuição de probabilidade sobre os clientes, identificando a fonte mais provável.

3. Estrutura de Avaliação

Para abordar a falta de verdade fundamental (ground truth) na proveniência de LLMs (distinguindo entre conhecimento de pré-treinamento e contribuições federadas), os autores construíram uma estrutura de avaliação verificável usando injeção de backdoor:

• Geração de Ground Truth: Pares de gatilho-resposta distintos (ex: uma frase de gatilho específica levando a uma resposta de recusa "sentinela" fixa) foram injetados nos dados de treinamento locais de clientes designados como "maliciosos".
• Métrica de Avaliação: A precisão da atribuição é medida pela capacidade do sistema de identificar corretamente os clientes que contêm o gatilho quando a resposta sentinela é gerada. Isso fornece um ground truth inequívoco de que o comportamento do modelo originou-se de contribuições de clientes específicos.

4. Resultados Experimentais

Os autores avaliaram o ProToken em 16 configurações envolvendo quatro arquiteturas de LLM (Gemma, SmolLM, Llama, Qwen) e quatro domínios (médico, financeiro, matemático, codificação).

• Precisão de Atribuição: O ProToken alcançou uma precisão média de atribuição de 98,62% em todas as configurações. Ele identificou com sucesso os clientes responsáveis com alta confiança, mostrando uma separação binária clara entre clientes contribuintes e não contribuintes.
• Escalabilidade: Em um teste de escalabilidade aumentando o número de clientes de 6 para 55 (um aumento de 9,2×), o ProToken manteve alta precisão (>92%), demonstrando robustez em implantações federadas de larga escala.
• Impacto do Peso de Gradiente: Um estudo de ablação mostrou que o peso de relevância baseado em gradiente é crítico. Desativar o peso de gradiente reduziu a precisão média de 66,34% para 35,71%, confirmando que filtrar neurônios irrelevantes é essencial para uma atribuição confiável.
• Tratabilidade Computacional: Ao monitorar apenas o subconjunto final de blocos transformer, o ProToken reduziu significativamente o overhead computacional em comparação com o rastreamento de todos os parâmetros. Para uma resposta de 100 tokens, o método permaneceu eficiente (ex: ~1,1s a 1,8s dependendo da profundidade da camada), tornando a atribuição em tempo real viável.

5. Significância e Alegações

O artigo apresenta o ProToken como o primeiro método de atribuição de proveniência ao nível de token especificamente para LLMs federados. Sua significância reside em:

• Resolver a Lacuna de Atribuição: Ele aborda o desafio fundamental de rastrear saídas em modelos generativos federados onde os dados nunca são centralizados.
• Preservação de Privacidade: Opera inteiramente sobre atualizações de modelo e gradientes, mantendo as garantias de privacidade de FL.
• Viabilidade Prática: O método é computacionalmente tratável e escalável, validado através de diversos arquiteturas e domínios.
• Viabilização de Confiança: Fornece as ferramentas necessárias para depuração, identificação de participantes maliciosos e garantia de alocação justa de recompensas em treinamento de LLMs colaborativo, estabelecendo assim uma base para sistemas de LLM federados interpretáveis e responsáveis.

Os autores enfatizam que, embora a injeção de backdoor tenha sido usada para criar o ground truth para avaliação, o método em si é projetado para atribuição geral e não é uma estratégia de ataque ou defesa. Os resultados validam o ProToken como um passo fundamental para o implante de LLMs federados confiáveis.