Autonomous Collaborative Learning Among an Ensemble of Tsetlin Machines with Consensus-Based Inference

Resumo Técnico: Aprendizado Colaborativo Autônomo entre um Ensemble de Máquinas de Tsetlin com Inferência Baseada em Consenso

Problema
A Máquina de Tsetlin (TM) é um algoritmo de aprendizado de máquina baseado em regras, fundamentado na lógica proposicional e em Autômatos de Tsetlin (TAs), oferecendo simplicidade computacional e eficiência energética adequadas para dispositivos de borda com recursos limitados. Embora estudos recentes tenham explorado o Aprendizado Federado (FL) com TMs, a literatura existente foca predominantemente em arquiteturas de servidor centralizadas (FL Horizontal ou Vertical) ou assume capacidades homogêneas dos agentes. Existe uma lacuna significativa na exploração de aprendizado de TM descentralizado e distribuído, particularmente em configurações de particionamento vertical de características onde os agentes detêm subconjuntos de características disjuntos das mesmas instâncias de dados. As abordagens padrão de FL frequentemente exigem a troca de atualizações de modelos ou gradientes, o que pode ser computacionalmente caro ou invasivo à privacidade. O desafio reside em projetar um framework onde agentes heterogêneos possam aprender colaborativamente e alcançar um consenso global sem trocar dados brutos ou revelar seus parâmetros de modelo internos, operando sob rigorosas restrições de energia e comunicação típicas de redes de sensores.

Metodologia
Os autores propõem um paradigma de aprendizado colaborativo descentralizado utilizando uma arquitetura de TM hierárquica de duas camadas combinada com um protocolo de comunicação baseado em gossip.

1. Arquitetura:

   • Camada de Entrada: Cada agente mantém uma TM local que opera exclusivamente em seu subconjunto privado e local de características booleanas. Esta camada aprende a reconhecer padrões específicos da partição de dados local do agente.
   • Camada de Agregação de Vizinhança: Uma segunda camada de TM reside em cada agente. Sua entrada consiste nas saídas de cláusulas da própria TM da Camada de Entrada do agente combinadas com as saídas de cláusulas recebidas de seus vizinhos imediatos na topologia da rede. Esta camada aprende a detectar padrões globais de nível superior que emergem do cluster local de agentes.
   • Preservação de Privacidade: Apenas saídas de cláusulas binárias (bits únicos) são trocadas entre vizinhos. A estrutura interna das cláusulas, os estados dos autômatos e os dados brutos permanecem estritamente locais e privados.

2. Protocolo de Comunicação:

   • O sistema emprega um protocolo de gossip assíncrono. Os agentes transmitem suas saídas de cláusulas para vizinhos imediatos sem um coordenador central.
   • Para inferência, é utilizado um protocolo de disseminação multi-fonte, todos-para-todos para propagar somas de votos de classe através da rede, permit um que cada agente possa eventualmente computar uma decisão globalmente consistente (consenso) baseada nos votos agregados de todo o ensemble.

3. Fluxo de Trabalho de Treinamento:

   • O treinamento ocorre em duas etapas por iteração. Primeiro, a TM da Camada de Entrada é treinada em dados locais. Segundo, a TM da Camada de Agregação de Vizinhança é treinada usando as saídas de cláusulas da TM da Camada de Entrada local e aquelas recebidas dos vizinhos.
   • Em cenários de múltiplas classes, os agentes mantêm pares de TMs (cláusulas positivas e negativas) para cada classe, atualizando-as sequencialmente com base nos rótulos de verdade fundamental (ground-truth) e rótulos de classes alternativas.

Principais Contribuições

• Framework de FL Vertical Descentralizado: O artigo introduz o primeiro framework conhecido de TM hierárquica projetado para aprendizado descentralizado sob particionamento vertical de características com amostras alinhadas, eliminando a necessidade de um servidor central.
• Suporte à Heterogeneidade: O paradigma acomoda agentes heterogêneos com diferentes meios de aquisição de dados, distribuições de dados locais e recursos computacionais, facilitando a integração em ambientes de sensoriamento multimodal.
• Comunicação Eficiente: Ao trocar apenas saídas de cláusulas binárias via protocolo de gossip, o método reduz significamente o overhead de comunicação e preserva a confidencialidade tanto dos parâmetros do modelo quanto dos dados locais.
• Inferência Baseada em Consenso: O sistema alcança o consenso global através de trocas locais ponto a ponto, permitindo que o ensemble reconheça padrões complexos que modelos locais isolados não conseguiriam capturar.

Resultados Experimentais
Os autores avaliaram o framework utilizando implementações de software em três benchmarks:

1. MNIST e Fashion-MNIST:

   • Os experimentos envolveram o particionamento de imagens de 28x28 em blocos (tiles) atribuídos a agentes em uma grade 2D (por exemplo, 49 agentes com tiles de 4x4, ou 16 agentes com 7x7 tiles).
   • Resultados: A arquitetura hierárquica de duas camadas superou consistentemente as abordagens de camada única. No MNIST, o ensemble alcançou acurácias de até 94,65% (16 agentes, 7x7 tiles), aproximando-se do desempenho de uma TM centralizada clássica (96,73%). No Fashion-MNIST, o ensemble atingiu 83,99%, comparável às baselines centralizadas.
   • Os resultados demonstraram que a camada de agregação aprende efetivamente os padrões de atividade das cláusulas dentro do cluster, fornecendo uma discriminação superior em comparação com a simples agregação de soma de votos.

2. Rede de Sensores Heterogênea Sintética:

   • Uma rede de 25 agentes com dados de sensores heterogêneos (variando escalas, offsets, níveis de ruído e contagem de sensores) foi simulada.
   • Comparação com Baseline: Uma Rede Neural Artificial (ANN) centralizada treinada em dados agregados alcançou 93% de acurácia, enquanto agentes individuais treinados em dados locais alcançaram apenas 43–57,5% de acurácia devido à sobreposição de dados e ruído.
   • Desempenho da TM: O ensemble de TM descentralizado alcançou 93% de acurácia, igualando-se à ANN centralizada.
   • Escalabilidade: A acurácia mostrou-se convergente para a baseline centralizada conforme o número de agentes participantes aumentava.
   • Robustez de Topologia: O framework também foi testado em uma topologia de grafo conectado geral (não-grade) com 9 agentes possuindo contagens de vizinhos variadas. O sistema alcançou 76% de acurácia, comparável à ANN centralizada e à configuração em grade com 9 agentes.

Significância e Alegações
O artigo afirma que este trabalho estabelece um paradigma viável para o aprendizado de máquina descentralizado e preservador de privacidade em ambientes de borda e redes de sensores. Ao aproveitar a natureza baseada em lógica e de baixo consumo de energia das Máquinas de Tsetlin e um mecanismo de inferência orientado por consenso, o framework proposto permite:

• Inteligência Colaborativa: Agentes podem resolver coletivamente tarefas complexas de classificação que excedem as capacidades de modelos locais individuais sem compartilhar dados brutos.
• Eficiência de Recursos: A abordagem é adaptada para ambientes de computação de baixa potência, evitando a aritmética pesada e os custos de comunicação associados ao aprendizado federado de deep learning tradicional.
• Escalabilidade e Flexibilidade: O sistema funciona efetivamente através de diferentes topologias de rede (grades e grafos gerais) e suporta agentes heterogêneos, tornando-o adequado para cenários reais de sensoriamento multimodal.

Os autores observam que a avaliação atual assume canais de comunicação ideais e livres de erros, e que trabalhos futuros abordarão impedimentos de rede realistas, como perda de pacotes e latência.