Resumo Técnico: Modelos Baseados em Conceitos Federados (F-CMs)

Declaração do Problema

Os Modelos Baseados em Conceitos (CMs) aprimoram a interpretabilidade da aprendizagem profunda ao fundamentar as previsões em conceitos compreensíveis por humanos. No entanto, sua implantação prática é dificultada pelo alto custo e pela escassez de anotações de conceitos dentro de fontes de dados únicas. Embora a Aprendizagem Federada (FL) ofereça um paradigma para treinamento colaborativo entre proprietários de dados distribuídos sem compartilhar dados brutos, os frameworks de FL existentes são inadequados para CMs. A FL padrão assume uma arquitetura de modelo fixa e compartilhada, ao passo que os CMs dependem de uma arquitetura explicitamente vinculada a um conjunto específico de conceitos e suas dependências. Em cenários realistas de FL caracterizados por heterogeneidade estatística e não estacionariedade temporal (por exemplo, clientes entrando/saindo ou deriva de dados), o conjunto de conceitos disponíveis e suas relações estruturais podem evoluir. Isso cria um descompasso fundamental: a FL padrão não consegue acomodar as adaptações arquitetônicas necessárias quando novos conceitos ou dependências emergem, levando à perda de interpretabilidade ou à necessidade de retreinamento completo e custoso.

Metodologia: Modelos Baseados em Conceitos Federados (F-CMs)

Os autores propõem os Modelos Baseados em Conceitos Federados (F-CMs), um framework projetado para implantar CMs em cenários federados em evolução. Os F-CMs abordam o descompasso entre as suposições estáticas da FL e os espaços de conceitos dinâmicos por meio de três mecanismos principais:

1. Agregação de Grafos:
   Em vez de assumir uma estrutura global pré-definida, o servidor agrega informações estruturais (Grafos Acíclicos Direcionados ou DAGs) fornecidas pelos clientes. Cada cliente $k$ submete uma matriz de adjacência ponderada $A^{(k)}$ representando sua confiança local nas arestas entre variáveis supervisionadas. O servidor constrói um DAG global compartilhado $G_t$ somando essas confianças e aplicando uma regra de consenso máximo para determinar a existência e a direção das arestas. Esse processo lida com estruturas locais ruidosas ou conflitantes e garante que o modelo global reflita o conhecimento coletivo da federação.

2. Adaptação Dinâmica da Arquitetura:
   O CM compartilhado é decomposto em componentes modulares: um codificador latente, codificadores específicos de conceitos e um decodificador de tarefa. À medida que novos clientes entram ou as distribuições de dados se deslocam, introduzindo conceitos ou dependências previamente não vistos, a arquitetura adapta-se modularmente:

   • Expansão: Novos módulos são instanciados para novos conceitos.
   • Reconexão: Se as dependências mudarem (por exemplo, uma nova aresta $C_i \to C_j$), a entrada do módulo correspondente é atualizada.
   • Inicialização Quente (Warm-Start): Os parâmetros existentes para módulos não afetados são preservados, enquanto novos parâmetros são inicializados (por exemplo, inicializados com zero ou aleatoriamente). Isso evita o retreinamento completo e retém o conhecimento previamente aprendido.

3. Otimização e Agregação Específicas por Módulo:
   Para lidar com a supervisão parcial (onde um cliente pode anotar apenas um subconjunto de conceitos), os F-CMs empregam uma estratégia de otimização mascarada. Durante o treinamento local, os clientes congelam módulos para variáveis que não supervisionam. Consequentemente, as atualizações são geradas apenas para componentes supervisionados. O servidor realiza então a agregação módulo a módulo, calculando a média dos parâmetros para cada módulo específico apenas sobre o subconjunto de clientes que forneceram supervisão para aquela variável. Isso garante que o modelo global integre supervisão heterogênea sem forçar os clientes a otimizar conceitos que não podem observar.

Contribuições Principais

O artigo introduz os F-CMs como a primeira metodologia para abordar espaços de conceitos em evolução sob não estacionariedade temporal na FL, adaptando a estrutura do modelo em vez de assumir uma arquitetura fixa. As contribuições específicas são:

• Metodologia Inovadora: Uma abordagem sistemática para implantar arquiteturas baseadas em conceitos em cenários federados realistas, lidando com supervisão de conceitos heterogênea, parcial e não estacionariedade temporal.
• Flexibilidade Arquitetônica: Indo além da suposição de arquitetura fixa da FL padrão, os F-CMs permitem que a estrutura do modelo compartilhado se adapte durante o treinamento, possibilitando a incorporação de interpretabilidade arquitetônica.
• Compartilhamento de Conhecimento Preservando a Privacidade: Redução da carga de anotação em instituições individuais, permitindo a agregação de conhecimento de conceitos entre entidades sem compartilhar dados brutos.
• Validação Empírica: Instanciação dos F-CMs com quatro arquiteturas distintas de CM (CBM, CEM, CGM, C2BM) e validação em benchmarks de redes bayesianas sintéticas e em dois conjuntos de dados reais de imagem médica (SIIM-Pneumothorax e CheXpert).

Resultados Experimentais

Os autores avaliaram os F-CMs contra limites superiores centralizados, treinamento localizado, variantes federadas estáticas (S-F-CMs) e baselines federadas de aprendizado de conceitos state-of-the-art (FedCBM, FCL).

• Precisão e Cobertura: Os F-CMs alcançaram precisão de tarefa e cobertura de conceitos comparáveis ao treinamento centralizado com supervisão completa de conceitos. Em contraste, as baselines federadas estáticas e os modelos localizados sofreram quedas significativas de desempenho e falharam em cobrir conceitos introduzidos por clientes que chegaram tardiamente.
• Eficácia da Intervenção: Os F-CMs permitiram inferência interpretável e intervenções eficazes em conceitos que não estavam anotados localmente em instituições específicas. Quando conceitos de verdade fundamental foram intervencionados, os F-CMs mantiveram alta precisão de rótulos, demonstrando que o modelo aproveita com sucesso a supervisão agrupada para raciocinar sobre conceitos que não observou diretamente durante o treinamento local.
• Eficiência sob Não Estacionariedade: Em cenários onde novos clientes introduziram conceitos não vistos, os F-CMs convergiram mais rápido e para uma perda menor do que as baselines estáticas. Crucialmente, os F-CMs exigiram a atualização de apenas uma pequena fração dos parâmetros (por exemplo, 8%–61%, dependendo do cenário) em comparação com 100% para uma baseline de retreinamento completo (S-F-CMs Reinit), demonstrando alta eficiência de adaptação.
• Robustez: O framework mostrou robustez ao desacordo semântico inter-cliente e a perturbações de grafos (ruído nos DAGs fornecidos pelos clientes). A estratégia de agregação de grafos proposta efetivamente removeu ruídos de propostas locais inconsistentes.
• Extensão Multimodal: Uma extensão de prova de conceito demonstrou que os F-CMs podem lidar com modalidades de entrada heterogêneas (por exemplo, imagens e texto) enquanto compartilham um espaço de conceitos semântico comum.

Significado e Alegações

O artigo alega que os F-CMs representam um passo significativo em direção à escalabilidade de modelos interpretáveis, ao mesmo tempo em que aderem a restrições do mundo real, como privacidade de dados, escassez de anotação e ambientes de implantação dinâmicos. Ao preencher a lacuna entre a natureza estática da FL padrão e os requisitos estruturais dos CMs, os F-CMs permitem:

1. Inferência Interpretável em Conceitos Não Vistos: A capacidade de realizar previsões interpretáveis em conceitos que não estão anotados em um cliente específico, uma capacidade não presente nas abordagens federadas estáticas existentes.
2. Crescimento Sustentável da Federação: Um mecanismo para integrar novas fontes de dados e tipos de supervisão sem descartar o conhecimento previamente aprendido ou incorrer no custo computacional de retreinamento completo.
3. Interpretabilidade Preservando a Privacidade: Um caminho para agregar conhecimento semântico de alto nível entre instituições, reduzindo a necessidade de esforços caros de anotação de conceitos centralizados.

Os autores reconhecem limitações, observando que as arquiteturas de CM atuais não foram originalmente projetadas para espaços em evolução, e que trabalhos futuros poderiam focar no desenvolvimento de CMs conscientes de federação com maior modularidade. Eles também destacam a necessidade de análises de privacidade mais aprofundadas em relação a potenciais superfícies de ataque específicas para modelos federados baseados em conceitos.