Resumo Técnico: Conjuntos Conformais Concisos e Logicamente Consistentes para Modelos Baseados em Conceitos Neuro-Simbólicos

Declaração do Problema

Modelos Neuro-Simbólicos Baseados em Conceitos (NeSy-CBMs) integram redes neurais para extração de conceitos com raciocínio simbólico para inferência de tarefas, visando produzir sistemas de IA confiáveis para aplicações de alto risco. No entanto, esses modelos frequentemente sofrem de excesso de confiança e má calibração, tornando difícil para as partes interessadas avaliar a confiabilidade de suas previsões. Além disso, mesmo quando a incerteza é quantificada, as probabilidades resultantes podem ser pouco intuitivas para os usuários finais.

As abordagens existentes para quantificação de incerteza em NeSy-CBMs frequentemente falham em satisfazer simultaneamente três requisitos críticos:

1. Consistência: Conceitos e rótulos previstos devem ser logicamente consistentes com o conhecimento prévio especificado pelo usuário ($K$).
2. Cobertura: Os conjuntos de previsão devem fornecer garantias de cobertura marginal livres de distribuição e de amostra finita tanto para conceitos quanto para rótulos.
3. Concisão: Os conjuntos de previsão devem ser o menores possível para permanecerem interpretáveis e operacionalmente úteis.

Estratégias atuais de "lado único" de previsão conformal (CP) (por exemplo, aplicar CP apenas a rótulos ou apenas a conceitos) ou métodos de revisão assimétrica falham em atender a todos os três critérios, resultando frequentemente em conjuntos que são inconsistentes, carecem de garantias de cobertura de um lado ou são proibitivamente grandes.

Metodologia: COCOCO

Os autores introduzem o COCOCO (Conformalidade, Consistência, Concisão), um framework post-hoc projetado para transformar qualquer NeSy-CBM treinado em um preditor conformal que satisfaça os três requisitos.

Mecanismo Central

O COCOCO opera em duas etapas:

1. Conformalização Conjunta: Constrói independentemente um conjunto de previsão conformal para rótulos ($\Upsilon_\alpha(x)$) e um conjunto de previsão conformal para conceitos ($\Gamma_\beta(x)$) usando técnicas padrão de CP. Para conceitos, aproveita a independência condicional dos extratores de conceitos para construir um conjunto produto, ou utiliza valores-e para evitar correções de Bonferroni e controlar o tamanho do conjunto.
2. Revisão por Dedução-Abdução: O framework aplica um único passo de revisão conjunta para reconciliar os dois conjuntos. Esta etapa envolve:
   • Dedução: Filtragem do conjunto de rótulos para reter apenas rótulos implicados pelo conjunto de conceitos ($\Upsilon_{rev} = \Upsilon_\alpha \cap g^\dagger(\Gamma_\beta)$).
   • Abdução: Filtragem do conjunto de conceitos para reter apenas conceitos que implicam pelo menos um rótulo no conjunto de rótulos ($\Gamma_{rev} = \Gamma_\beta \cap g^{-\dagger}(\Upsilon_\alpha)$).

Garantias Teóricas

• Ponto Fixo em Uma Etapa: Os autores provam que uma única aplicação deste operador de revisão conjunta é suficiente para atingir um ponto fixo. Iterar o processo é desnecessário, garantindo eficiência computacional.
• Optimalidade: O par resultante $(\Gamma_{rev}, \Upsilon_{rev})$ é o maior subconjunto possível dos conjuntos originais que mantém consistência lógica mútua.
• Cobertura sob Conhecimento Imperfeito: O framework retém garantias de cobertura livres de distribuição. Em casos onde a camada de inferência é imperfeita (por exemplo, devido a conhecimento incompleto ou atalhos de raciocínio), o limite inferior de cobertura degrada-se linearmente com base na solidez da camada de inferência ($\delta_{ab}$ e $\delta_{de}$).
• Orçamentos de Tamanho Especificados pelo Usuário: Ao integrar previsões conformais baseadas em valores-e (usando valores-e em vez de quantis), o COCOCO permite que os usuários especifiquem tamanhos máximos de conjuntos (orçamentos) enquanto selecionam adaptativamente níveis de cobertura inadequada ($\tilde{\alpha}, \tilde{\beta}$) para manter garantias de cobertura em expectativa. Esta abordagem evita a degradação das garantias à medida que o número de conceitos aumenta.

Contribuições Principais

1. Formalização dos Requisitos: O artigo define e formaliza consistência, cobertura e concisão como condições necessárias para métodos NeSy conformais.
2. Framework COCOCO: Um framework post-hoc inovador que conformaliza conjuntamente conceitos e rótulos e os reconcilia por meio de um único passo de dedução-abdução.
3. Provas Teóricas:
   • Prova de que o COCOCO satisfaz os três requisitos por construção.
   • Prova de que o passo de revisão atinge um ponto fixo em uma iteração.
   • Derivação de limites de cobertura que accountam para conhecimento imperfeito e probabilidades conjuntas de falha.
4. Controle de Tamanho: Demonstração de como valores-e permitem orçamentos de tamanho especificados pelo usuário sem comprometer as garantias de cobertura.
5. Avaliação Empírica Extensa: Avaliação em 8 conjuntos de dados (incluindo imagens médicas, texto e classificação de imagens) usando duas arquiteturas NeSy de última geração (DeepProbLog e Redes de Tensores Lógicos).

Resultados Experimentais

Experimentos em 8 conjuntos de dados (CHX, CEB, RIV10, variantes MN-Add, CIF10) demonstram que o COCOCO supera linhas de base naturais e o competidor mais forte (RPB):

• Consistência: O COCOCO alcança 1,00 de consistência de conceitos e rótulos em todos os conjuntos de dados. Em contraste, competidores como o RPB frequentemente exibem inconsistência significativa no lado dos conceitos (por exemplo, caindo para 0,12 no conjunto de dados MN-EO).
• Concisão: O COCOCO reduz significativamente os tamanhos dos conjuntos de previsão em comparação com as linhas de base. Por exemplo, no conjunto de dados CEB, reduziu o tamanho do conjunto de conceitos de 75,06 (RPB) para 53,49, e no MN-EO, reduziu o tamanho de 100,00 (RPB) para 12,13, mantendo a consistência total.
• Cobertura: Embora o COCOCO troque uma pequena quantidade de cobertura (tipicamente 7–10 pontos percentuais menores que o RPB no lado dos conceitos) para garantir consistência e concisão, mantém alta cobertura de rótulos (frequentemente $\ge 0,87$) e cobertura de conceitos ($\ge 0,83$) no alvo nominal de 0,9.
• Robustez: O método performa robustamente mesmo sob conhecimento incompleto (RIV10) e atalhos de raciocínio (MN-EO), onde os limites teóricos preveem corretamente a degradação na cobertura.
• Tempo de Execução: O custo computacional do COCOCO é modesto (aproximadamente 1,2x a 1,6x o tempo de execução da linha de base), pois o passo de revisão requer apenas uma única passagem de computação abductiva e dedutiva de imagens.

Significado e Alegações

O artigo afirma que o COCOCO é o primeiro método a explorar simultaneamente conhecimento simbólico para reduzir conjuntos de previsão conformal e impor consistência entre rótulos e conceitos, mantendo a cobertura livre de distribuição.

Os autores posicionam o COCOCO como um passo crítico para tornar os NeSy-CBMs adequados para sistemas de apoio à decisão em domínios de alto risco (por exemplo, diagnóstico médico), onde as partes interessadas requerem não apenas uma previsão, mas um conjunto de alternativas plausíveis e logicamente consistentes com garantias estatísticas rigorosas. O framework aborda a natureza de "caixa preta" da incerteza em modelos NeSy, fornecendo conjuntos interpretáveis que respeitam restrições de domínio, aumentando assim a confiança e a confiabilidade sem exigir o re-treinamento do modelo neuro-simbólico subjacente.