Resumo Técnico: Aprendizado Neurosimbólico Centrado em Objetos com Supervisão Distante

Declaração do Problema

Os sistemas atuais de IA neurosimbólica enfrentam um gargalo crítico: embora possam utilizar efetivamente regras simbólicas para supervisionar conceitos latentes a partir de rótulos fracos, eles tipicamente assumem que as entidades (objetos) referenciadas por essas regras já estão especificadas. Por outro lado, modelos de aprendizado centrado em objetos podem decompor imagens em representações do tipo "slot", mas frequentemente falham em alinhar esses slots com os predicados específicos exigidos para raciocínio simbólico, especialmente quando a supervisão em nível de objeto (por exemplo, máscaras, caixas delimitadoras ou rótulos por objeto) não está disponível.

Este artigo aborda o desafio do aprendizado neurosimbólico centrado em objetos sob supervisão distante. O problema central é definido como aprender um modelo onde:

1. Entrada: Um conjunto de dados de pares imagem-rótulo $(x, y)$, onde as imagens podem conter um número desconhecido de objetos, mas não existem anotações para identidade, localização ou classe dos objetos.
2. Restrição: Um programa lógico probabilístico $L$ é fornecido, especificando como predicados latentes em nível de objeto (por exemplo, objetividade e classe) determinam o rótulo global $y$.
3. Objetivo: Aprender um modelo neurosimbólico que infira a estrutura centrada em objetos (quais partes da imagem são objetos e o que são) diretamente a partir do rótulo da tarefa global, permitindo que a camada simbólica restrinja a camada perceptiva sem supervisão explícita em nível de objeto.

Metodologia: DeepObjectLog

Os autores propõem o DeepObjectLog, uma arquitetura neurosimbólica probabilística que integra um codificador perceptivo baseado em slots com uma camada de lógica probabilística. O modelo é treinado de ponta a ponta usando um objetivo de Máxima A Posteriori (MAP) com inferência amortizada.

1. Modelo Gráfico Probabilístico

O modelo define uma distribuição conjunta sobre a imagem $x$, o rótulo da tarefa $y$ e variáveis latentes, incluindo a representação da cena $z$, representações de slots $s$, probabilidades de objetividade $\beta$, bandeiras de objetividade $o$ e rótulos de classe $c$.

• Codificador: Um mecanismo de Slot Attention extrai até $N$ representações de slots latentes $s_i$ da imagem.
• Detector de Objetos e Classificador: Para cada slot, o modelo prevê:
  • Uma probabilidade de objetividade $\beta_i \in [0, 1]$, representando a incerteza de que o slot corresponde a um objeto significativo.
  • Uma distribuição de classe $p(c_i | s_i, \beta_i)$, condicionada à objetividade.
  • A bandeira de objetividade $o_i$ é modelada como uma variável Bernoulli com parâmetro $\beta_i$.
• Mascaramento Suave: Para reduzir a influência de slots de fundo ou espúrios, a representação do slot é multiplicada elemento a elemento pela sua pontuação de objetividade $\beta_i$ antes de ser passada ao classificador e ao decodificador.

2. Raciocínio Lógico Probabilístico

O componente simbólico utiliza o ProbLog, um framework de programação lógica probabilística.

• Fatos Probabilísticos: As bandeiras de objetividade $o_i$ e as atribuições de classe $c_i$ são tratadas como fatos probabilísticos (por exemplo, $p::object(i)$).
• Regras: Regras lógicas definem como esses fatos se combinam para determinar o rótulo da tarefa $y$ (por exemplo, $add(Z) \leftarrow digit(1, Y1), digit(2, Y2), Z \text{ is } Y1 + Y2$).
• Marginalização: A verossimilhança do rótulo observado $y$ é computada marginalizando sobre todas as atribuições possíveis de objetividade e classe. Isso permite que o sistema compute um sinal de aprendizado diferenciável em nível de tarefa sem exigir amostragem discreta ou funções de perda de correspondência de conjuntos heurísticas (como a perda de Hungarian).

3. Objetivo de Aprendizado

O objetivo de treinamento maximiza a probabilidade conjunta dos dados observados e uma explicação latente $z$:
$$\max_{\theta, \phi} \sum_{(x,y) \in D} \log p_\theta(y | s^*(q_\phi(x)), \beta^*(q_\phi(x))) + \log p_\theta(x | s^*(q_\phi(x)), \beta^*(q_\phi(x))) + \log p(q_\phi(x))$$
Onde:

• O primeiro termo incentiva a representação centrada em objetos inferida a explicar o rótulo da tarefa simbólica.
• O segundo termo (perda de reconstrução) garante que a representação possa reconstruir a imagem de entrada.
• O terceiro termo é um prior sobre a explicação latente amortizada.
• $q_\phi$ é um codificador neural que aproxima a explicação latente $z$, evitando a necessidade de um loop de otimização interna por exemplo de treinamento.

Contribuições Principais

1. Formulação: O artigo formula o problema do aprendizado neurosimbólico centrado em objetos a partir de supervisão distante, onde os objetos devem ser inferidos a partir da percepção em vez de serem fornecidos como entradas estruturadas.
2. Interface Probabilística: Introduz uma interface diferenciável entre slots e lógica, onde as variáveis de objetividade e classe são marginalizadas via inferência probabilística. Isso elimina a necessidade de anotações de objetos, amostragem discreta ou perdas de correspondência de conjuntos.
3. Arquitetura DeepObjectLog: Os autores instanciam essa formulação no DeepObjectLog e demonstram que o feedback lógico melhora o uso relevante para a tarefa de representações centradas em objetos, apoiando uma generalização relacional mais forte.

Resultados Experimentais

O modelo foi avaliado em quatro benchmarks: MultiMNIST-Adição, PokerRules, CLEVR-Adição e COCOLogic.

• Generalização Composicional: No MultiMNIST-Adição, o DeepObjectLog alcançou 90,00% de precisão em composições fora da distribuição (OOD) (combinações de dígitos não vistas), superando significativamente as bases neurais (por exemplo, Slot Attention em 13,30%) e uma base neurosimbólica padrão sem percepção centrada em objetos (35,76%).
• Generalização de Tarefa: Na tarefa PokerRules, o modelo alcançou 72,23% de precisão em classes OOD (por exemplo, "trincas" não vistas durante o treinamento), enquanto a base neurosimbólica falhou (0,46%). As bases neurais não conseguiram generalizar para novas classes, pois seus espaços de saída eram fixados pelos rótulos de treinamento.
• Generalização de Contagem de Objetos: O modelo demonstrou extrapolação robusta para imagens com mais objetos do que os vistos durante o treinamento (por exemplo, 4-5 dígitos no MultiMNIST), mantendo alta precisão onde os concorrentes degradaram significativamente.
• Força do Sinal de Aprendizado: No COCOLogic, o DeepObjectLog alcançou precisão de conceito não trivial com 0% de supervisão em nível de objeto, demonstrando sua capacidade de aprender a estrutura de objetos puramente a partir do sinal da tarefa. Esse desempenho foi mantido mesmo à medida que os níveis de supervisão aumentavam.
• Comparação com VLMs: Na tarefa OOD de MultiMNIST-Adição, o DeepObjectLog (90% de precisão) superou significativamente grandes Modelos Visão-Linguagem (LLaVA-1.5 e Qwen2.5-VL), que lutaram para resolver a tarefa de forma confiável sob prompt zero-shot.

Significado e Alegações

O artigo alega que o DeepObjectLog representa um passo significativo em direção a sistemas neurosimbólicos mais gerais, ao preencher a lacuna entre a descoberta perceptiva de objetos e o raciocínio simbólico. Seu significado principal reside em:

1. Generalização Relacional: A capacidade de suportar raciocínio sob deslocamentos de distribuição, incluindo novas composições de objetos, diferentes contagens de objetos e novas consultas simbólicas sobre vocabulários aprendidos.
2. Robustez sem Supervisão: A capacidade de aprender estruturas centradas em objetos significativas e raciocinar sobre elas sem exigir supervisão explícita em nível de objeto (máscaras ou caixas delimitadoras), confiando apenas em rótulos de tarefas globais e regras simbólicas.
3. Interpretabilidade: O modelo fornece previsões interpretáveis em nível de objeto (objetividade e classe) que se alinham com o processo de raciocínio simbólico, oferecendo garantias que abordagens puramente neurais não possuem.

Os autores reconhecem limitações, incluindo o custo computacional da inferência exata na lógica probabilística (embora mitigado por frameworks de otimização) e o potencial para atalhos de raciocínio em configurações de supervisão fraca, que suas restrições estruturais visam desencorajar. Eles concluem que, embora a abordagem avance a IA robusta e interpretável, implementações futuras devem considerar riscos relacionados a viés e vigilância de uso duplo.