Resumo Técnico: Rumo à Atribuição de Crédito com Restrições de Valor em Cooperativas de IA Totalmente Delegadas

1. Declaração do Problema

O artigo aborda o desafio da alocação de recompensas em cooperativas de IA totalmente delegadas. Neste cenário, múltiplos membros humanos são representados por agentes autônomos que agrupam dados e computação para treinar serviços de IA compartilhados. A dificuldade central reside em satisfazer dois requisitos simultâneos e acoplados:

1. Restrições de Valor: O aprendizado deve respeitar restrições de valor heterogêneas (por exemplo, proibições de implantação militar, pontuação de risco de seguro ou requisitos para equidade demográfica) específicas de cada membro.
2. Incentivos Econômicos: Os benefícios econômicos do serviço resultante devem ser distribuídos de acordo com a contribuição real.

As abordagens existentes frequentemente falham ao acoplar esses requisitos. Uma regra de recompensa que ignora as restrições de valor pode compensar membros por atualizações que eles não endossariam, enquanto a contabilidade de contribuição padrão em Aprendizado Federado (FL) opera tipicamente sobre atualizações agregadas, tornando difícil rastrear e filtrar direções de atualização específicas com base em perfis de valor individuais antes que a contribuição seja medida.

2. Metodologia

Os autores propõem um framework que integra Filtragem de Gradiente Condicionada ao Valor, Aprendizado de Trajetória (TL) e Sinais de Contribuição Marginal Online.

2.1 Filtragem Condicionada ao Valor

Em cada iteração $t$, um agente $i$ detendo dados locais $D_i$ e um perfil de valor $v_i$ computa um gradiente local $\nabla L_i(\theta_t)$. Antes que esta atualização seja propagada, ela passa por um filtro de valor $F_i$:
$$\tilde{\nabla} L_i(\theta_t) = F_i(\nabla L_i(\theta_t), v_i)$$
O gradiente filtrado $\tilde{\nabla} L_i$ representa a parte admissível da atualização. Este filtro pode assumir várias formas, incluindo verificações constitucionais baseadas em regras, projeções de conjuntos viáveis, modificações de gradiente ou modelos de admissibilidade de caixa-preta aprendidos. Se uma direção de atualização viola os valores do principal, ela é rejeitada (definida como zero), garantindo que apenas atualizações consistentes com os valores contribuam para o modelo cooperativo.

2.2 Substrato de Aprendizado de Trajetória (TL)

O framework utiliza o Aprendizado de Trajetória (TL) como o substrato de treinamento. Diferente do Aprendizado Federado padrão (ex: FedAvg), que agrega atualizações de clientes post-hoc, o TL realiza o backpropagation descentralizado preservando trajetórias e caminhos de gradiente explícitos através de nós distribuídos.

• Mecanismo: A atualização cooperativa é definida como $\theta_{t+1} = \theta_t - \eta \sum_{i=1}^n \tilde{\nabla} L_i(\theta_t)$.
• Vantagem: Ao manter caminhos de gradiente específicos de cada agente em vez de apenas estados de clientes agregados, o TL permite um rastreamento mais transparente do caminho desde a exposição dos dados locais até a atualização admissível e o efeito cooperativo. Argumenta-se que essa clareza estrutural é superior para a atribuição em cenários de restrição de valor quando comparada ao FL centrado em agregação.

2.3 Contribuição Marginal e Liquidação

O framework define contribuição e alocação de recompensa através de um processo de múltiplas etapas:

1. Sinal de Crédito Online: A contribuição $c_i^t$ do agente $i$ no tempo $t$ é definida como a melhoria marginal na perda de validação cooperativa $L_{val}$ induzida unicamente pela atualização admissível do agente:
   $$c_i^t = L_{val}(\theta_t) - L_{val}(\theta_t - \eta \tilde{\nabla} L_i(\theta_t))$$
   Se o filtro rejeita a atualização ($\tilde{\nabla} L_i = 0$), a contribuição é zero.
2. Liquidação Cumulativa: Ao longo de um horizonte de contabilidade $H$, as contribuições são acumuladas com ponderação opcional $\omega_t$:
   $$C_i(H) = \sum_{t \in H} \omega_t c_i^t$$
3. Alocação de Receita: As fatias de receita $r_i(H)$ são alocadas com base nas contribuições cumulativas, utilizando um parâmetro de potência $\alpha \ge 1$ para acentuar diferenças:
   $$r_i(H) = \frac{(C_i(H))^\alpha}{\sum_{j=1}^n (C_j(H))^\alpha}$$
   O pagamento final $p_i(H)$ é a parcela da receita total $R(H)$. Os agentes são recompensados apenas por atualizações que são simultaneamente admissíveis e melhoradoras da validação.

3. Principais Contribuições

• Integração de Framework: O artigo integra filtragem de atualização condicionada ao valor, atribuição baseada em TL, sinais de contribuição online e liquidação cooperativa cumulativa em um único mecanismo de aprendizado distribuído.
• Pluralismo ao Nível do Gradiente: Introduz um mecanismo onde os agentes aceitam ou rejeitam seletivamente direções de atualização (pluralismo), em vez de tarefas inteiras, permitindo restrições de valor heterogêneas dentro de um modelo compartilhado.
• Substrato de Atribuição: Os autores argumentam que o TL oferece um substrato de atribuição mais fino e transparente do que o FL do tipo FedAvg porque preserva caminhos de trajetória explícitos, permitindo a medição da contribuição somente após a verificação da admissibilidade de valor.
• Operacionalização do Pluralismo: O framework move o pluralismo do alinhamento de um objetivo teórico para o próprio mecanismo de alocação de crédito durante o treinamento.

4. Resultados e Alegações

O artigo é primordialmente uma proposta teórica e arquitetônica; ele não apresenta resultados experimentais empíricos ou comparações de benchmarks. Em vez disso, faz as seguintes alegações sobre as propriedades do framework:

• Viabilidade: O framework permite o cálculo de sinais de crédito locais em cada etapa, garantindo que a liquidação cumulativa permaneça bem definida mesmo que a convergência global para um único ótimo seja imperfeita devido a restrições de valor heterogêneas.
• Privacidade e Eficiência: Os autores sugerem uma variante do framework (referenciada como "TLplus") que poderia colocar apenas uma camada de corte ou um bloco frontal raso nos agentes membros, transmitindo ativações mascaradas para um orquestrador. Isso visa preservar os benefícios de atribuição do TL enquanto reduz os custos do lado do cliente e limita o vazamento de informações, baseando-se na partição do estilo SplitNN.
• Posicionamento: Os autores declaram explicitamente que não pretendem superar a valoração do tipo Shapley em termos de justiça ou mecanismos de incentivo de FL existentes. Sua alegação limita-se ao argumento de que o TL fornece um substrato mais transparente para conectar admissibilidade de valor, contabilidade de contribuição e alocação de recompensa.

5. Significância

A significância deste trabalho reside na tentativa de resolver o problema "acoplado" de restrições de valor e incentivos econômicos em cooperativas de IA. Ao rejeitar a noção de colapsar valores heterogêneos em um único objetivo, o framework torna o pluralismo operacional dentro da dinâmica de aprendizado. Ele propõe uma mudança da agregação post-hoc (onde a contribuição é difícil de rastrear) para a trajetória explícita (onde a contribuição é rastreável e filtrável), ofereando um caminho potencial para estruturas de incentivo sustentáveis para cooperativas de IA diversas e com restrições de valor.