Resumo Técnico: Mistura de Especialistas de Gargalo de Conceito (M-CBEs)

Declaração do Problema

Os Modelos de Gargalo de Conceito (CBMs) emergiram como uma abordagem promissora para alinhar modelos de Deep Learning com o raciocínio humano, decompondo predições em dois estágios: um codificador de conceitos que mapeia entradas brutas para variáveis interpretáveis por humanos (conceitos), e um preditor de tarefa que mapeia esses conceitos para a saída final. No entanto, os CBMs existentes tipicamente restringem o preditor de tarefa a uma função global única com uma forma funcional definida a priori (por exemplo, uma única camada linear ou uma expressão Booleana fixa).

Esta rigidez apresenta duas limitações críticas:

1. Expressividade Limitada: Uma função global única frequentemente falha em capturar o processo de geração conceito-tarefa real e potencialmente complexo, levando a uma precisão preditiva subótima.
2. Interpretabilidade Inflexível: A interpretabilidade é inerentemente dependente do usuário. Fixar a forma funcional (por exemplo, forçar um modelo linear quando a relação é não linear, ou um modelo Booleano quando a relação é contínua) pode sacrificar desnecessariamente o desempenho preditivo ou falhar em alinhar-se com os modelos mentais específicos de diferentes usuários.

Abordagens atuais frequentemente roteiam entradas para misturas de especialistas (MoE) para melhorar a precisão, mas estas tipicamente roteiam para preditores de caixa-preta ou fixam a forma funcional dos especialistas, falhando em abordar a otimização conjunta da precisão e da interpretabilidade alinhada ao usuário.

Metodologia

Os autores propõem a Mistura de Especialistas de Gargalo de Conceito (M-CBEs), um framework unificado que generaliza os CBMs ao longo de duas dimensões:

1. Número de Especialistas: Em vez de uma única função global, o preditor de tarefa é modelado como uma mistura de $M$ funções especializadas (especialistas).
2. Forma Funcional: O framework permite o controle explícito sobre a forma funcional de cada especialista, variando de expressões lineares simples a expressões simbólicas complexas definidas por vocabulários de operadores especificados pelo usuário.

Framework Central

Os M-CBEs representam o preditor de tarefa como uma variável aleatória $T$ (uma árvore de expressão) condicionada à entrada $x$. A distribuição conjunta fatoriza como:
$$p(y, c | x) = p(c | x) \sum_{m=1}^{M} p(m | x) p(y | c, t_m)$$
Onde:

• $p(c | x)$ é o codificador de conceitos.
• $p(m | x)$ é um seletor (roteador) aprendível que atribui a entrada $x$ a um índice de especialista específico $m$.
• $t_m$ é uma árvore de expressão única e fixa associada ao especialista $m$.
• $p(y | c, t_m)$ é o preditor de tarefa executando a expressão $t_m$ selecionada sobre os conceitos $c$.

Ao impor um conjunto finito de árvores de expressão, os M-CBEs garantem a interpretabilidade global, permitindo que os usuários inspecionem todos os caminhos de raciocínio em tempo finito, ao contrário de modelos que geram expressões únicas para cada entrada (o que resulta em complexidade infinita).

Duas Instanciações Novas

O artigo introduz dois modelos específicos para explorar este espaço de design:

1. M-CBE Linear (Lin-M-CBE):

   • Estrutura: Restringe as árvores de expressão a uma forma funcional linear ($y = w^T c + b$).
   • Mecanismo: Aprende um conjunto finito de $M$ expressões lineares distintas. O seletor roteia as entradas para o especialista linear mais apropriado.
   • Objetivo: Fornece um equilíbrio robusto para tarefas de classificação de alta dimensão onde combinações lineares de conceitos são suficientes, mas um único modelo linear global é insuficiente.

2. M-CBE Simbólico (Sym-M-CBE):

   • Estrutura: Utiliza Regressão Simbólica (SR) para descobrir a estrutura das árvores de expressão.
   • Mecanismo: Os usuários definem um vocabulário de operadores interpretáveis $W$ (por exemplo, $\{+, -, \times, \sin, \exp\}$). O modelo primeiro treina uma "caixa-preta placeholder" (ex: MLP) para cada especialista. Em seguida, a regressão simbólica é aplicada aos subconjuntos de dados atribuídos a cada especialista para destilar a árvore de expressão simbólica ideal $t_m$ usando o vocabulário definido pelo usuário.
   • Adaptabilidade: Suporta adaptação post-hoc. Uma vez que o codificador e o seletor são treinados, os usuários podem alterar o vocabulário de operadores $W$ para gerar novas expressões simbólicas alinhadas com sua expertise de domínio sem retreinar todo o modelo.

Principais Contribuições

1. Framework Unificado: Os M-CBEs subsumem métodos baseados em conceitos existentes (como CBM padrão, CMR, DCR) como casos especiais, expondo um espaço de design de duas dimensões amplamente inexplorado (número de especialistas $\times$ forma funcional).
2. Garantias Teóricas: Os autores fornecem proposições demonstrando que:
   • Um único especialista não linear pode aproximar qualquer função contínua (Aproximação Universal).
   • Uma mistura de especialistas lineares pode aproximar qualquer função contínua se $M$ for suficientemente grande, com erros de aproximação diminuindo conforme $M$ aumenta.
3. Interpretabilidade Global: Ao aprender a partir de um conjunto finito de expressões, os M-CBEs evitam o problema da "memória infinita" de preditores específicos de instância (como LICEM ou DCR), permitendo a inspeção e verificação total do modelo.
4. Adaptabilidade Post-hoc: O Sym-M-CBE permite que os usuários modifiquem a complexidade e o tipo de expressões (por exemplo, mudando de formas trigonométricas para polinomiais) após o treinamento inicial, atendendo a diversos níveis de expertise do usuário.

Resultados Experimentais

O framework foi avaliado em quatro conjuntos de dados sintéticos e cinco conjuntos de dados do mundo real (incluindo MNIST-Arithm, dSprites-Exp, Pendulum, MAWPS, AWA2, CUB-200 e CIFAR-10) cobrindo tanto tarefas de classificação quanto de regressão.

• Troca de Precisão-Interpretabilidade: Explorar o espaço de design permite encontrar a fronteira de Pareto.
  • O M-CBE Simbólico destaca-se em tarefas de regressão (ex: Pendulum), descobrindo expressões compactas de alta precisão que dominam a fronteira de Pareto.
  • O M-CBE Linear fornece um equilíbrio robusto para tarefas de classificação de alta dimensão, superando a lógica Booleana rígida (CMR, DCR) que degrada significativamente conforme o número de conceitos aumenta (ex: em CUB-200 e CIFAR-10).
• Escalabilidade: Formas funcionais Booleanas falham em escalar com espaços de conceitos de alta dimensão devido à fragilidade das regras conjuntivas. Formas algébricas (Lineares e Simbólicas) mantêm um desempenho robusto.
• Intervenibilidade:
  • O Sym-M-CBE alcança uma intervenbilidade quase ideal em tarefas de regressão, recuperando mecanismos reais (ex: $8.0 \sin(\theta) + 10.0$) e mostrando quedas acentuadas no erro quando os conceitos são corrigidos.
  • O Lin-M-CBE é altamente responsivo a intervenções em tarefas de classificação, superando outros modelos globalmente interpretáveis.
• Lidando com Conceitos Incompletos: Aumentar o número de especialistas ($M > 1$) compensa gargalos de conceitos incompletos ou variações na lógica da tarefa através do espaço de entrada, recuperando o desempenho preditivo onde modelos de especialista único falham.
• Complexidade: Os M-CBEs frequentemente igualam ou excedem a precisão de MLPs de caixa-preta, sendo substancialmente menos complexos (menos nós nas árvores de expressão).

Significância e Alegações

O artigo afirma que os M-CBEs estabelecem uma abordagem fundamentada para o desenvolvimento de modelos interpretáveis que se adaptam tanto aos requisitos da tarefa quanto às diversas necessidades dos usuários.

• Democratização da IA: Ao permitir que os usuários alinhem os mecanismos preditivos do modelo com computações que eles podem interpretar (desde expressões matemáticas complexas para especialistas de domínio até polinômios simplificados para leigos), o framework democratiza o acesso à IA.
• IA Responsável: Avança na implantação de IA responsável ao garantir que as predições permaneçam fundamentadas em conjuntos finitos e inspecionáveis de expressões interpretáveis, abordando a opacidade dos modelos de caixa-preta em domínios de alto risco.
• Troca Ótima: Os autores afirmam que nenhuma escolha arquitetônica é universalmente superior; em vez disso, a capacidade de navegar no espaço de design da cardinalidade do especialista e da forma funcional é essencial para encontrar a troca ideal entre precisão e interpretabilidade para um problema específico.

Limitações Reconhecidas:

• A rede de seleção $p(m | x)$ opera como uma caixa-preta, limitando a transparência sobre o porquê de um especialista específico ser escolhido.
• A regressão simbólica é computacionalmente intensiva, particularmente para grandes vocabulários de operadores.
• O número de especialistas $M$ deve ser especificado como um hiperparâmetro, exigindo um equilíbrio manual entre expressividade e interpretabilidade.