Resumo Técnico: Modelos de Gargalo de Conceitos Hiperbólicos (HypCBM)

1. Declaração do Problema

Os Modelos de Gargalo de Conceitos (CBMs) surgiram como uma abordagem líder para aprendizado de máquina interpretável, forçando os modelos a prever conceitos compreensíveis por humanos antes de tomar uma decisão final. Essa arquitetura permite transparência e possibilita intervenções com humanos no ciclo para corrigir previsões errôneas. No entanto, os CBMs existentes dependem de uma falha representacional fundamental: eles incorporam conceitos em espaços euclidianos planos, tratando-os como dimensões independentes e ortogonais.

Na realidade, os conceitos são altamente estruturados e organizados em hierarquias semânticas (por exemplo, "Cachorro" é um subconjunto de "Animal"). A geometria euclidiana luta para representar essas relações ramificadas sem forçar conceitos pais e filhos a regiões sobrepostas ou distorcidas, levando a inconsistências lógicas (por exemplo, prever "Cachorro" sem "Animal") e intervenções ineficientes. Além disso, os métodos atuais que tentam impor estrutura frequentemente exigem treinamento supervisionado adicional ou módulos aprendidos, desviando-se do paradigma desejável "pós-hoc", onde o modelo é interpretável sem retreinar a base.

2. Metodologia

Os autores propõem Modelos de Gargalo de Conceitos Hiperbólicos (HypCBM), um framework pós-hoc que fundamenta o gargalo de conceitos na geometria hiperbólica para acomodar naturalmente hierarquias semânticas.

2.1 Fundamento Geométrico

O HypCBM utiliza o modelo de Lorentz do espaço hiperbólico, uma variedade riemanniana de curvatura negativa constante. Diferentemente do espaço euclidiano, o espaço hiperbólico exibe crescimento exponencial de volume, tornando-o o domínio natural para aprendizado de representação hierárquica. O framework aproveita Modelos Visão-Linguagem (VLMs) hiperbólicos pré-treinados, especificamente o HyCoCLIP, que alinha incorporações de imagem e texto nesse espaço usando objetivos de cones de implicação.

2.2 Geração e Filtragem de Conceitos

Seguindo um paradigma sem rótulos e pós-hoc, o HypCBM gera um conjunto candidato de conceitos usando um Modelo de Linguagem Grande (LLM) instruído com rótulos de classe do conjunto de dados. Essas descrições textuais são codificadas na variedade hiperbólica usando o codificador de texto congelado do VLM.

• Filtragem Baseada em Norma: Para remover conceitos excessivamente genéricos (por exemplo, "objeto") que carecem de poder discriminativo, o framework filtra conceitos com base em sua distância da origem no espaço hiperbólico. Conceitos com normas baixas (próximos à origem) representam categorias amplas e genéricas e são podados, pois tendem a ativar indiscriminadamente.

2.3 Ativação de Implicação Hiperbólica

A inovação central é a reformulação da ativação de conceitos de uma métrica de distância simétrica (como similaridade de cosseno) para um problema geométrico assimétrico de contenção.

• Cones de Implicação: Cada conceito $c_i$ está associado a um cone de implicação definido por um semi-ângulo $\omega(c_i)$, que é inversamente proporcional à norma espacial do conceito (conceitos específicos têm cones mais estreitos).
• Mecanismo de Ativação: Uma incorporação de imagem $z$ ativa um conceito se ela cair geometricamente dentro do cone de implicação do conceito. O valor de ativação $a_i$ é calculado como a "margem de inclusão"—o grau em que a incorporação da imagem está contida dentro do cone, normalizado pela abertura do cone.
• Resultado: Isso produz um vetor de ativação esparsa e não negativa que é hierarquicamente consistente por construção. Se uma imagem implica um conceito filho específico, ela implica geometricamente o conceito pai.

2.4 Intervenções Fieis à Hierarquia

Uma limitação crítica dos CBMs euclidianos é que intervir em um conceito pai (por exemplo, definir "Animal" como 0) não desativa automaticamente conceitos filhos (por exemplo, "Cachorro"), levando a paradoxos lógicos. O HypCBM resolve isso através de escalonamento adaptativo:

• Devido ao crescimento exponencial de volume do espaço hiperbólico, um limiar fixo para implicação é insuficiente em diferentes profundidades da hierarquia.
• Os autores derivam uma lei de escalonamento adaptativo para o parâmetro de rigor de implicação $\eta_{text}$, que escala linearmente com a norma do conceito pai.
• Quando um usuário suprime um conceito pai, o framework propaga automaticamente essa supressão para todos os descendentes geométricos que satisfazem a condição de implicação adaptativa, garantindo correções coerentes em toda a árvore de conceitos.

3. Contribuições Principais

1. Ativação de Implicação Hiperbólica: Um mecanismo que mapeia representações de imagem para ativações de conceitos esparsas e conscientes da hierarquia via contenção em cones de implicação, eliminando a necessidade de métricas de distância simétricas.
2. Lei de Escalonamento Adaptativo: Uma estratégia inovadora para intervenções hierárquicas que propaga correções do usuário de forma coerente através da árvore de conceitos, adaptando o rigor à especificidade geométrica dos conceitos pais.
3. Gargalo Estruturado Pós-Hoc: O HypCBM é o primeiro framework a alcançar um gargalo estruturado completamente pós-hoc sem módulos aprendidos ou supervisão adicional, dependendo exclusivamente das propriedades geométricas de VLMs hiperbólicos pré-treinados.

4. Resultados Experimentais

Os autores avaliaram o HypCBM em CIFAR-100, SUN397 e ImageNet, comparando-o com baselines euclidianas (LF-CBM) e modelos treinados em significativamente mais dados.

• Precisão e Eficiência de Dados: O HypCBM supera consistentemente modelos pós-hoc euclidianos. Notavelmente, rivaliza com modelos euclidianos treinados em 20× mais dados em regimes esparsos (orçamentos baixos de conceitos). Por exemplo, no ImageNet com um orçamento de 10 conceitos, o HypCBM mais que duplica a precisão da baseline (34,6% vs. 15,3%).
• Consistência Hierárquica: O HypCBM demonstra consistência lógica significativamente maior. Em regimes de orçamento estrito, ele alcança mais de 100% de melhoria relativa na consistência em comparação com baselines euclidianas, garantindo que ativar um conceito filho implique a ativação de seu pai.
• Resposta a Intervenções: Em simulações com humanos no ciclo, o HypCBM mostra um decaimento de confiança mais acentuado ao corrigir erros, invertendo com sucesso previsões incorretas para a classe correta em 19% mais amostras do que a baseline euclidiana.
• Robustez: O HypCBM exibe robustez superior a corrupções de entrada (ruído, desfoque, clima). Ele mantém uma "estabilidade de conceitos" significativamente maior (consistência semântica das explicações) sob perturbação em comparação com modelos euclidianos, que sofrem degradação rápida na qualidade da explicação.

5. Significado e Alegações

O artigo afirma que priors estruturais no espaço de representação podem servir como um poderoso substituto para escala em regimes esparsos e interpretáveis. Ao incorporar conceitos em uma variedade que reflete suas relações hierárquicas, o HypCBM produz explicações que são mais precisas, robustas e logicamente consistentes sem exigir treinamento adicional ou supervisão.

Os autores enfatizam que a interpretabilidade não é meramente uma propriedade das saídas do modelo, mas é fundamentalmente moldada pela geometria do espaço de representação. O HypCBM demonstra que aproveitar o crescimento exponencial natural de volume do espaço hiperbólico permite o desentrelaçamento eficiente de informações semânticas, permitindo que os modelos alcancem alto desempenho e interpretabilidade com menos dados do que suas contrapartes euclidianas. O framework é apresentado como um caminho zero-shot para interpretabilidade para a classe emergente de modelos fundamentais hiperbólicos.