Resumo Técnico: NeSyCat Torch

Declaração do Problema

A IA Neurosimbólica (NeSy) visa combinar as capacidades perceptivas de redes neurais com o raciocínio estruturado da lógica simbólica. No entanto, o campo sofre de fragmentação: sistemas clássicos, difusos (fuzzy) e probabilísticos definem a verdade através de regras indutivas distintas, impedindo a transferência de bases de conhecimento e objetivos de aprendizagem entre eles. Embora o ULLER (Unified Language for Learning and Reasoning) tenha unificado anteriormente essas semânticas sob um único arcabouço categórico baseado em monads, ele carecia de uma implementação para predicados e funções aprendidos por redes neurais. Além disso, as implementações existentes frequentemente enfrentam dificuldades de escalabilidade e estabilidade numérica ao transitar de configurações discretas para contínuas ou de grandes lotes (batches).

Metodologia

O artigo apresenta o NeSyCat Torch, uma implementação de tensores diferenciável do arcabouço categórico NeSyCat. A metodologia central envolve a interpretação de símbolos computacionais via redes neurais dentro de uma arquitetura monádica paramétrica unificada.

1. Arcabouço Categórico e Monads

O arcabouço estende a semântica categórica de Johnstone (2002) organizando sintaxe e semântica em quatro camadas: categórica, lógica, de domínio e gramatical. O mecanismo de unificação é a strong monad $M$, que parametriza o efeito (ex: probabilidade, pesos de tensores). O artigo utiliza três camadas monádicas específicas (Tabela 1):

• Monad de Distribuição ($D$): Representa distribuições de probabilidade de suporte finito. Serve como semântica de referência e leitura métrica, onde o bind ($>>=$) realiza a marginalização (lei da probabilidade total).
• Monad de Tensor ($T$) / Monad de Log-Tensor ($T_{log}$): Implementa a monad de distribuição de forma diferenciável usando números reais (logits) em vez de probabilidades. $T_{log}$ opera sobre o semiring logarítmico $(\mathbb{R}, \text{logsumexp}, +)$ para garantir estabilidade numérica e diferenciabilidade, evitando a degeneração de gradiente associada a operadores difusos em $[0,1]$.
• Monad de Batch ($B$): Uma monad de leitor (reader monad) sobre um conjunto de índices de lote que permite o processamento paralelo de mini-lotes sem introduzir aleatoriedade.

2. Sintaxe e Semântica

O sistema suporta três tipos de símbolos:

• Tarski: Mapeamentos determinísticos (Lógica de Primeira Ordem padrão).
• Kleisli: Mapeamentos efetuadores para $M$.
• NeSy: Mapeamentos neurais que recebem portadores monádicos como entrada e produzem portadores monádicos como saída.

As fórmulas são construídas usando notação do- (açúcar sintático para o monadic bind). Uma inovação fundamental é o tratamento de símbolos de função computacional (ex: $digit: \text{Image} \to M \text{Digit}$) e predicados. A semântica é definida indutivamente:

• Bind ($\leftarrow$): Realiza marginalização em $D$ e convolução em espaço logarítmico em $T$.
• Quantificadores: Agregam valores de verdade monádicos sobre domínios finitos.
• Avaliação Preguiçosa (Lazy Evaluation): O arcabouço emprega monads preguiçosas para adiar o cálculo das probabilidades marginalizadas até que sejam estritamente necessárias, podando ramos desnecessários.

3. Treinamento e Inferência

O treinamento minimiza a perda de conhecimento (log-verdade negativa média de axiomas) sobre um conjunto de dados.

• Batching: Em vez de executar o programa de notação do- $N$ vezes para $N$ amostras, o sistema o executa uma única vez em um lote de tensores. A monad de batch $B$ é composta com a monad de tensor $T$ ($B \circ T$).
• Manipulação de Dados: Observações são tratadas como valores "certos" (codificados como one-hot no espaço logarítmico) que entram na fórmula via liftB.
• Implementação: O arcabouço é implementado em Haskell (HaskTorch), Python (JAX) e Python (PyTorch). O backend JAX utiliza compilação JIT para convolução em espaço logarítmico e diferenciação.

Principais Contribuições

1. Implementação Neural de NeSyCat: Fornece a primeira implementação neural do arcabouço NeSyCat, unindo a semântica categórica abstrata ao aprendizado profundo prático.
2. Parametricidade Monádica Unificada: Demonstra que um único código, escrito em notação do- monádica, pode instanciar diferentes semânticas (probabilística, difusa, clássica) simplesmente alterando a monad subjacente.
3. Monad de Log-Tensor Diferenciável: Introduz um backend de treinamento numericamente estável e diferenciável usando o semiring logarítmico, evitando a necessidade de normalização softmax explícita durante as etapas intermediárias (adiando-a para a fronteira).
4. Escalabilidade via Preguiça (Laziness): Alcança treinamento eficiente em lotes e problemas de múltiplos dígitos através do adiamento dos cálculos de marginalização.

Resultados Experimentais

Os autores avaliaram o arcabouço na tarefa de adição de MNIST (supervisão distante: apenas a soma de dois dígitos manuscritos é observada, não os dígitos em si).

• Acurácia:
  • Dígito Único ($N=1$): O NeSyCat Torch alcançou 94,6% (estilo LTN) e 94,2% (estilo DeepProbLog), superando o LTN (93,5%) e o DeepProbLog (92,2%).
  • Múltiplos Dígitos ($N=4$): O NeSyCat Torch alcançou 92,0% de acurácia. Em contraste, o LTN e o DeepProbLog sofreram timeout (T/O) nesta tarefa.
  • Comparação: A abordagem aproxima-se da acurácia do DeepStochLog (92,7% para $N=4$), que é atualmente a linha de base mais precisa, mantendo um arcabouço uniforme aplicável a várias abordagens de primeira ordem.
• Eficiência:
  • Os passos de treinamento em uma única GPU A100 foram significativamente mais rápidos que o LTN (0,52ms vs. 5,36ms por passo para o estilo LTN em hardware antigo).
  • O sistema converge rapidamente; o varredura completa de 15 sementes para adição de dígito único levou aproximadamente 1,5 minuto.
• Generalização: A rede aprendeu a reconhecer dígitos com ~97% de acurácia apenas a partir das somas observadas, sem usar rótulos de dígitos.

Significância e Alegações

O artigo afirma que o NeSyCat Torch escala com sucesso a generalidade do arcabouço categórico NeSyCat para o nível de implementação neural. Sua principal significância reside em:

• Unificação: Oferece um arcabouço único e uniforme que se aplica a muitas abordagens de NeSy de primeira ordem (clássica, difusa, probabilística) simplesmente instanciando a monad, em vez de exigir definições separadas para cada uma.
• Escalabilidade: Ao utilizar monads preguiçosas e estruturas de tensores, supera os gargalos computacionais (como a contagem de modelos ponderados #P-hard no DeepProbLog) que limitam outros métodos em problemas maiores (ex: $N=4$ dígitos).
• Extensibilidade: O arcabouço é paramétrico; embora o trabalho atual foque em distribuições de suporte finito, os autores observam que instanciar com a monad de Giry poderia estender a abordagem para probabilidade contínua (embora uma representação neural para isso seja deixada para pesquisas futuras).

Os autores observam modestamente que, embora a implementação atual lide de forma eficaz com domínios finitos e distribuições discretas, generalizar para domínios infinitos e representações neurais eficientes de probabilidade contínua permanece um desafio aberto para pesquisas futuras.