Sumário Técnico: COCOLogic-V2

Declaração do Problema

Modelos de aprendizado de máquina interpretáveis, como os Modelos de Gargalo de Conceito (CBMs) e métodos de síntese de programas neuro-simbólicos, são projetados para permitir a verificação das decisões dos modelos, um requisito crítico para domínios de alto risco como saúde e finanças. No entanto, a avaliação desses modelos tem sido historicamente limitada a configurações estreitas: os CBMs são frequentemente avaliados em classificação de imagens de rótulo único, enquanto a síntese de programas e abordagens neuro-simbólicas dependem frequentemente de tarefas sintéticas ou correspondência de padrões abstratos, em vez de raciocínio indutivo complexo em dados do mundo real.

Benchmarks existentes falham em capturar a complexidade do raciocínio indutivo visual. Especificamente, iterações anteriores de conjuntos de dados de raciocínio (como o COCOLogic original) frequentemente sofrem de desequilíbrio de classes e permitem que os modelos explorem "atalhos" (por exemplo, prever uma classe baseada em um único objeto como uma tigela) em vez de aprender as regras lógicas subjacentes. Além disso, métricas de avaliação padrão costumam mascarar a incapacidade de um modelo de lidar com casos de borda, pois uma alta acurácia geral pode ser alcançada classificando corretamente amostras fáceis enquanto se falha naquelas que exigem uma compreensão precisa da lógica.

Metodologia: O Conjunto de Dados COCOLogic-V2

Para abordar essas limitações, os autores introduzem o COCOLogic-V2, um conjunto de dados centrado em objetos para raciocínio indutivo visual em imagens do mundo real derivadas do MSCOCO. O conjunto de dados é projetado para cobrir um amplo subconjunto de lógica de primeira ordem, incluindo lógica proposicional, contagem de objetos, comparações de contagem e ausência de objetos.

Principais Características de Design

1. Enquadramento Multirrótulo: Diferente de seu predecessor, o COCOLogic-V2 enquadra a tarefa como classificação multirrótulo para reduzir atalhos e o desequilíbrio de classes.
2. Regras Lógicas Composicionais: O conjunto de dados compreende 10 regras lógicas distintas (ex: "Sinal e Passeio", "Servimento Duplo", "Rebanho Sozinho") baseadas na coocorrência, ausência ou contagens específicas de categorias de objetos dentro de uma imagem.
3. Categorização Granular de Amostras: Uma inovação central é a categorização das amostras em três tipos distintos para permitir o diagnóstico automático da responsabilidade do modelo:
   • Variantes Positivas: Diferentes formas de uma regra ser satisfeita (derivadas da Forma Normal Disjuntiva da regra).
   • Negativos Próximos à Fronteira (NB - Near-Boundary): Amostras que estão próximas da fronteira de decisão. Estas são geradas invertendo um único literal na lógica ou modificando contagens de objetos (ex: mudar "exatamente três" para "um ou dois"). Estas amostras testam se um modelo aprendeu os detalhes específicos da regra.
   • Negativos Longe da Fronteira (FB - Far-From-Boundary): Amostras que são facilmente distinguíveis dos positivos, frequentemente classificáveis sem a compreensão da regra.
4. COCOLogic-V2-FS: Uma versão curada e de pequena escala do conjunto de dados contendo 24 amostras de treinamento por regra, projetada especificamente para avaliar capacidades de aprendizado de poucos disparos (few-shot) e aprendizado em contexto (in-context learning).

Procedimento de Amostragem

O conjunto de dados é amostrado de imagens MSCOCO. O processo envolve a seleção de até 1.000 imagens por variante positiva, garantindo pelo menos 500 imagens por tipo NB, e preenchendo o restante com amostras FB para manter uma distribuição próxima ao conjunto de dados MSCOCO original. O conjunto de treinamento final contém 25.000 imagens, e o conjunto de teste contém 3.500 imagens.

Avaliações Experimentais

Os autores avaliaram várias famílias de abordagens tanto no conjunto de dados completo quanto na versão de poucos disparos (few-shot):

• Modelos Baseados em Conceitos: Variantes de CBMs usando rótulos de objetos de verdade fundamental (Oracle), detectores pré-treinados (Mask R-CNN), codificadores supervisionados, representações baseadas em CLIP, CBMs centrados em objetos (OCB) e o Deep Concept Reasoner (DCR).
• Baselines Black-Box: ResNet-50 ajustada (fine-tuned).
• Abordagens de Poucos Disparos (Few-Shot): Aprendizado em contexto com Modelos de Visão-Linguagem (VLMs) como GPT-5.5, Gemini-3.1-Pro-Preview e Claude-Opus-4-7, bem como síntese de programas usando a abordagem VLP com Gemma-4-31B-it.

Resultados Principais

1. Falha em Amostras Próximas à Fronteira: No conjunto de dados completo, a maioria dos modelos alcançou alta acurácia balanceada geral (B-Acc > 80%) ao separar com sucesso amostras positivas de negativos FB. No entanto, o desempenho nas amostras NB foi consistentemente ruim, frequentemente caindo para ou abaixo do acaso (ex: 27–48% para vários CBMs). Isso indica que os modelos estão explorando padrões estatísticos grosseiros em vez de aprender as regras lógicas subjacentes.
2. Impacto do Ruído de Percepção: Modelos que dependem de representações de conceitos mais ruidosas (ex: CLIP ou detectores pré-treinados) tiveram um desempenho pior nas amostras NB do que aqueles que usam rótulos de verdade fundamental, sugerindo que detalhes lógicos finos são difíceis de capturar com percepção imperfeita.
3. Desafios de Poucos Disparos (Few-Shot): Na configuração COCOLogic-V2-FS, todas as abordagens CBM lutaram significativamente devido ao sinal de treinamento limitado (24 amostras por regra). Embora o aprendizado em contexto com VLMs e a síntese de programas tenham tido um desempenho melhor (atingindo ~70% de B-Acc), eles ainda enfrentaram desafios. Especificamente, os VLMs frequentemente identificavam padrões semanticamente relacionados, mas logicamente imprecisos, e a síntese de programas teve dificuldades com grandes espaços de busca e na identificação de objetos relevantes sem conceitos de verdade fundamental.
4. Limites Superiores do Oracle: Mesmo com entradas de conceito perfeitas (Oracle), preditores lineares falharam em regras envolvendo XOR ou contagem exata, enquanto MLPs alcançaram desempenho quase perfeito, confirmando que o conjunto de dados é solucionável em princípio, mas requer capacidades de raciocínio não lineares.

Contribuições

O artigo apresenta três contribuições principais:

1. COCOLogic-V2: Um conjunto de dados centrado em objetos para raciocínio indutivo visual sobre imagens naturais que expande o escopo lógico para incluir contagem e comparações, reformulado como uma tarefa multirrótulo.
2. COCOLogic-V2-FS: Uma versão de poucos disparos (few-shot) curada para avaliar configurações de dados limitados e aprendizado em contexto.
3. Evidência Empírica de Limitações: Uma demonstração de que as abordagens interpretáveis atuais (CBMs, VLMs, síntese de programas) falham em capturar as regras lógicas subjacentes, particularmente em amostras próximas à fronteira, destacando o raciocínio indutivo visual como um desafio aberto.

Significância e Alegações

Os autores afirmam que o COCOLogic-V2 fornece uma base concreta para avançar métodos em raciocínio indutivo visual. A categorização granular do conjunto de dados (Positivo, NB, FB) serve como uma ferramenta de diagnóstico automático, revelando que a alta acurácia geral muitas vezes mascara uma falha em aprender regras lógicas específicas.

O artigo conclui que o raciocínio lógico visual em dados do mundo real continua sendo um desafio aberto. Os modelos atuais tendem a separar bem os positivos e os negativos fáceis, mas falham em amostras que exigem uma compreensão adequada dos detalhes da regra. Os autores sugerem que trabalhos futuros devem focar em mitigar atalhos específicos de raciocínio e estender os conjuntos de dados para incluir estruturas lógicas mais complexas e relações entre objetos para testar ainda mais os limites dos modelos interpretáveis.