T-ILR: a Neurosymbolic Integration for LTLf

Resumo Técnico: T-ILR: uma Integração Neurosimbólica para LTLf

Definição do Problema
Embora o aprendizado neurosimbólico (NeSy) tenha demonstrado sucesso na integração de conhecimento simbólico com aprendizagem profunda para domínios estáticos, métodos para lidar com especificações de lógica temporal permanecem subexplorados. Abordagens existentes para a integração NeSy temporal, como o trabalho de Umili et al. (2023), baseiam-se na construção de Autômatos de Estados Finitos (DFA) para representar fórmulas temporais expressas em Lógica Temporal Linear sobre traços finitos (LTLf). Embora eficaz, essa estratégia acarreta altos custos computacionais devido à complexidade de converter fórmulas LTLf em DFAs (De Giacomo e Vardi, 2013) e ao subsequente overhead de processar esses autômatos durante o treinamento. Além disso, a maioria dos frameworks NeSy foca em lógicas de primeira ordem ou proposicionais para raciocínio estático, deixando ambientes dinâmicos e temporalmente estruturados como um problema em aberto.

Metodologia: Temporal Iterative Local Refinement (T-ILR)
Os autores propõem o T-ILR, um novo framework neurosimbólico projetado para incorporar especificações LTLf diretamente em arquiteturas de aprendizagem profunda para tarefas baseadas em sequências, sem a necessidade de uma representação externa de autômato. O framework estende o algoritmo Iterative Local Refinement (ILR) (Daniele et al., 2023) ao utilizar interpretações fuzzy de LTLf (fLTLf).

A arquitetura T-ILR consiste em dois módulos primários:

1. Módulo de Percepção: Uma rede neural paramétrica ($f_\theta$) que mapeia observações brutas (ex: imagens) para uma sequência de valores de verdade fuzzy. Este módulo fundamenta as proposições atômicas da fórmula LTLf a partir dos dados brutos. Dependendo da tarefa, ele utiliza ativações softmax (para símbolos mutuamente exclusivos) ou sigmoid (para símbolos não mutuamente exclusivos).
2. Módulo Simbólico: Este módulo avalia a especificação LTLf usando semântica fuzzy (fLTLf) definida sobre traços finitos. A fórmula LTLf original é transformada em uma contraparte fuzzy ($\tilde{\Phi}$) e processada através de uma camada ILR. A camada ILR decompõe a fórmula em um grafo computacional e aplica Funções de Refinamento Mínimo (MRF) a cada nó de conectivo lógico. Este processo refina iterativamente as saídas fuzzy do módulo de percepção para satisfazer as restrições lógicas (valor de verdade alvo $t=1$), minimizando o desvio das predições originais.

Crucialmente, o T-ILR utiliza semântica de lógica de Gödel (especificamente semântica de Zadeh para t-normas) para garantir que os operadores lógicos permaneçam diferenciáveis. Isso permite a otimização baseada em gradiente de ponta a ponta, onde a função de perda é calculada com base na satisfação refinada da fórmula temporal, eliminando a necessidade de construção explícita de DFA.

Principais Contribuições

• Integração Direta de LTLf: O artigo introduz um método para incorporar especificações LTLf diretamente em redes neurais via lógica temporal fuzzy, evitando o gargalo computacional da construção de DFA.
• Extensão do ILR: Os autores estendem o algoritmo ILR para operar sobre traços temporais usando fLTLf, permitindo o tratamento de operadores temporais (Próximo, Até) dentro de um framework diferenciável.
• Raciocínio Temporal Diferenciável: O framework suporta retropropagação através das restrições lógicas, permitindo que o módulo de percepção aprenda representações simbólicas que satisfaçam condições temporais.

Resultados Experimentais
Os autores avaliaram o T-ILR contra a abordagem de estado da arte baseada em DFA (Umili et al., 2023) usando uma tarefa de classificação binária de supervisão fraca em sequências de imagens MNIST. A avaliação cobriu dois cenários: ocorrências de símbolos Mutuamente Exclusivos (ME) e Não-Mutuamente Exclusivos (NME), com comprimentos de sequência e tamanhos de alfabeto variados.

• Acurácia: O T-ILR demonstrou melhoria na acurácia em comparação com o baseline de DFA. No cenário ME, o T-ILR superou o baseline em 9 de 20 casos, enquanto no cenário mais complexo NME, superou o baseline em 13 de 20 casos. O T-ILR manteve alta acurácia mesmo conforme os comprimentos de sequência aumentavam e os tamanhos de alfabeto cresciam, ao passo que a abordagem de DFA mostrou degradação significativa de desempenho nesses cenários complexos.
• Eficiência Computacional: O T-ILR exibiu eficiência computacional superior. O método de DFA sofreu com timeouts (excedendo 60 minutos) em várias configurações, particularmente com alfabetos maiores e sequências mais longas, devido ao custo de parsing de autômatos. Em contraste, o T-ILR completou o treinamento consistentemente dentro dos limites de tempo, mostrando tempos de execução significativamente menores.

Significância e Alegações
O artigo afirma que o T-ILR valida a viabilidade do uso de semântica baseada em lógica fuzzy como uma ponte entre representações simbólicas e neurais em domínios temporais. Os resultados sugerem que a incorporação direta de conhecimento temporal via fLTLf permite um aprendizado mais estável e eficiente dentro do módulo de percepção em comparação com métodos baseados em autômatos. Os autores destacam que a capacidade do T-ILR de lidar com eventos simultâneos (NME) e escalar com o comprimento da sequência o torna uma direção promissora para o raciocínio temporal NeSy.

Os autores enquadram modestamente seu trabalho como uma extensão de paradigmas NeSy existentes para domínios dinâmicos, observando que, embora tenham utilizado a lógica de Gödel, outras semânticas fuzzy (ex: Lukasiewicz, Produto) poderiam ser exploradas em trabalhos futuros. Eles propõem que esta abordagem poderia ser aplicada a domínios do mundo real, como monitoramento preditivo e prescritivo de processos, mas não reivindicam implementação imediata nessas áreas dentro do escopo do presente estudo.