COGITAO: A Visual Reasoning Framework To Study Compositionality & Generalization

O artigo apresenta o COGITAO, um framework e benchmark de código aberto que gera tarefas visuais baseadas em regras para estudar a composição e generalização, revelando que os modelos de visão atuais falham consistentemente ao lidar com novas combinações de elementos familiares.

O essencial

Imagine que você está ensinando uma criança a cozinhar. Você não quer apenas que ela memorize a receita do bolo de chocolate. Você quer que ela entenda os conceitos básicos: o que é "bater ovos", o que é "assar", o que é "misturar". Se ela entende esses conceitos, ela consegue inventar um bolo de morango ou um pão de queijo, mesmo que nunca tenha visto essas receitas antes.

O problema é que, hoje em dia, as Inteligências Artificiais (IAs) mais avançadas são como crianças que decoraram milhares de receitas, mas não entendem a lógica da cozinha. Se você pedir algo novo, elas travam.

É aqui que entra o COGITAO (o nome é um pouco complicado, mas pense nele como um "Laboratório de Lógica Visual").

O Que é o COGITAO?

Pense no COGITAO como um simulador de Lego digital.

1. O Cenário: Imagine uma grade (como um tabuleiro de xadrez) onde existem peças coloridas (os "objetos").
2. As Regras: O sistema tem um conjunto de 28 "feitiços" ou transformações simples que você pode fazer nessas peças:
   • Mover para a direita.
   • Girar 90 graus.
   • Espelhar (como num espelho).
   • Cortar uma parte.
   • Mudar a cor.
3. O Desafio: O COGITAO cria milhões de tarefas diferentes combinando esses feitiços.
   • Exemplo: "Pegue o quadrado vermelho, gire-o e depois mova-o para cima."
   • O Teste: A IA aprende a girar e a mover separadamente. Depois, o teste pede: "Gire e mova ao mesmo tempo". Se a IA realmente entendeu a lógica, ela consegue. Se ela só decorou, ela falha.

Por que isso é importante?

O papel dos autores (Yassine e sua equipe) diz: "Nós criamos esse laboratório para ver se as IAs atuais conseguem pensar de verdade ou se apenas estão 'chutando' padrões".

Eles pegaram as IAs mais modernas do mundo (como Transformers, que são o cérebro por trás do ChatGPT e geradores de imagens) e as colocaram para jogar nesse tabuleiro de Lego.

O Resultado foi decepcionante (mas revelador):

• No treino: As IAs foram ótimas. Elas aprenderam as regras e acertaram quase tudo.
• No teste (o novo): Assim que os pesquisadores mudaram a combinação das regras (algo que a IA nunca viu antes, mas usava peças que ela já conhecia), as IAs falharam miseravelmente.

A Analogia da "Criança que Decorou"

Imagine que você ensina a uma IA:

• "Se eu disser 'pular', o boneco pula."
• "Se eu disser 'girar', o boneco gira."

Depois, você diz: "Agora, faça o boneco pular e girar".
Uma IA inteligente faria as duas coisas.
As IAs testadas no COGITAO, no entanto, tendiam a fazer apenas uma das coisas (geralmente a que elas viram mais vezes no treino) ou a fazer uma bagunça. Elas não conseguem compor as ideias. Elas não entendem que "pular e girar" é a soma de duas ações simples.

O Que os Autores Descobriram?

1. Tamanho não é tudo: Eles aumentaram o tamanho das IAs (mais memória, mais poder de processamento) e, mesmo assim, elas não aprenderam a compor as ideias. Não adianta apenas jogar mais dados nelas.
2. Elas são "preguiçosas": Em vez de pensar na lógica, elas tentam adivinhar o que você quer baseado em padrões superficiais que viram antes. É como se, ao ver "pular e girar", elas dissessem: "Ah, eu vi 'pular' antes, então vou pular só isso".
3. O Futuro: O COGITAO serve como um "raio-X" para a inteligência artificial. Ele mostra que, para chegarmos a uma IA que pense como um humano (que consegue criar coisas novas a partir de conceitos antigos), precisamos mudar a arquitetura dessas máquinas. Elas precisam aprender a entender a estrutura das coisas, não apenas a decorar o resultado.

Resumo em uma frase

O COGITAO é um jogo de tabuleiro criado para provar que, embora as IAs de hoje sejam ótimas em decorar receitas, elas ainda não sabem cozinhar sozinhas quando a receita muda um pouquinho.

Resumo técnico

1. O Problema

A capacidade de combinar conceitos aprendidos e aplicá-los em novos contextos (generalização composicional e sistemática) é um princípio fundamental da inteligência humana. No entanto, os modelos de aprendizado de máquina de última geração (SOTA) ainda lutam com essa habilidade. Eles tendem a depender do reconhecimento de padrões e da memorização, falhando quando confrontados com combinações de elementos familiares que não foram vistos durante o treinamento.

Benchmarks existentes na visão computacional (como CLEVR ou dSprites) muitas vezes carecem de flexibilidade, confundindo complexidade visual com estrutura relacional, ou não permitem um controle preciso sobre a composição das tarefas. O desafio é criar um ambiente que isole a capacidade de raciocínio composicional da complexidade visual desnecessária.

2. Metodologia: O Framework COGITAO

Os autores introduzem o COGITAO (Compositional Generalization In Transformations And Objects), um framework procedural e centrado em objetos para gerar e avaliar tarefas de generalização em domínios visuais abstratos.

Geração de Dados Procedural

• Ambiente: Baseado em grades (grids) bidimensionais, inspirado no desafio ARC-AGI.
• Objetos: O sistema utiliza um conjunto pré-gerado de 23.000 objetos com variações em tamanho, simetria, conectividade e padrões de cor.
• Transformações Atômicas: O núcleo do framework consiste em 28 transformações interoperáveis (ex: translação, rotação, espelhamento, preenchimento, recorte, duplicação).
• Composição: As tarefas são definidas por sequências de transformações aplicadas a objetos na grade. O framework permite composições em profundidades arbitrárias (ex: aplicar 5 transformações sequencialmente).
• Escala: A flexibilidade permite a geração de milhões de regras de tarefa únicas e amostras ilimitadas por regra, cobrindo um amplo espectro de dificuldades.

Extensões do Framework

• COGITAO-RGB: Renderiza as tarefas em imagens RGB reais (128x128), removendo as grades explícitas para testar a transferência para visão natural.
• Sequential-COGITAO: Estende o problema para sequências temporais (quadros intermediários), relevante para pesquisa em "World Models" e interação robótica.

Configurações de Avaliação (Benchmarks)

O papel define dois estudos principais para testar a generalização:

1. CompGen (Generalização Composicional): O modelo é treinado em certas combinações de transformações e testado em combinações inéditas (novas sequências ou profundidades maiores) usando os mesmos elementos atômicos.
2. EnvGen (Generalização Ambiental): O modelo é testado em variações do ambiente (número de objetos, tamanho da grade, complexidade dos objetos) mantendo a mesma sequência de transformação.

3. Contribuições Principais

1. Framework Gerador: Introdução do COGITAO, capaz de gerar milhões de tarefas controláveis com profundidade de composição ajustável, superando datasets existentes em magnitude e controle.
2. Benchmarks e Dados: Liberação de datasets de benchmark específicos para generalização composicional e ambiental, permitindo experimentação reprodutível e escalável.
3. Extensões para Visão Real e World Models: Apresentação das versões RGB e sequenciais do framework, conectando o raciocínio abstrato a tarefas de interação e percepção do mundo real.
4. Análise de Baselines: Avaliação rigorosa de várias arquiteturas SOTA, demonstrando consistentemente a falha dos modelos atuais em generalizar para combinações fora da distribuição (OOD).

4. Resultados Experimentais

Os autores avaliaram quatro arquiteturas principais (com ~1 milhão de parâmetros cada) em diversos cenários:

• Vanilla Transformer (TF): Transformer padrão.
• Grid-TF: Transformer adaptado com viéses indutivos para grades (posicionamento 2D, tokens de registro).
• Pondering Looped TF (PL-TF): Transformer recorrente com tempo de computação adaptativo (inspirado em PonderNet).
• LLaDA: Modelo de linguagem baseado em difusão.

Principais Descobertas:

• Desempenho In-Domain (ID): A maioria dos modelos (especialmente Grid-TF e PL-TF) alcançou alta precisão em tarefas vistas durante o treinamento.
• Falha em Out-of-Distribution (OOD): Todos os modelos sofreram quedas drásticas de desempenho ao serem testados em novas combinações de transformações ou ambientes.
  • Exemplo: Em tarefas de composição profunda (C3), onde o modelo deve combinar transformações atômicas em sequências mais longas, a precisão caiu para quase zero na maioria dos casos.
• Melhor Desempenho Relativo: O PL-TF (Pondering Looped TF) mostrou-se o mais robusto, superando os outros em várias configurações OOD, sugerindo que a recursividade e o tempo de computação adaptativo ajudam no raciocínio composicional.
• Falhas Específicas:
  • Viés ID: O modelo aplica a transformação que viu no treino, mesmo quando a tarefa pede outra.
  • Falha na Composição Estrutural: O modelo consegue aplicar uma sequência aprendida, mas falha em decompor e recompor os elementos atômicos para novas sequências.
• Escala de Dados e Tamanho do Modelo: Aumentar o tamanho do modelo (até 25M de parâmetros) ou o volume de dados de treinamento não resolveu o problema de generalização, indicando que a limitação é arquitetural e não apenas de dados.

5. Significado e Conclusão

O COGITAO demonstra que, apesar dos avanços em modelos de visão e linguagem, a generalização sistemática e composicional permanece um desafio não resolvido. Os modelos atuais ainda dependem excessivamente de correspondência de padrões estatísticos em vez de aprender regras estruturais abstratas.

• Impacto Científico: O framework fornece um ambiente controlado para diagnosticar falhas fundamentais em arquiteturas de IA, separando a complexidade visual do raciocínio lógico.
• Direção Futura: Os resultados sugerem que o progresso na inteligência artificial exigirá arquiteturas que incorporem viéses indutivos mais fortes para raciocínio estruturado (como recursividade e manipulação de objetos explícitos), em vez de apenas escalar modelos existentes.
• Relevância: O sucesso em COGITAO é visto como um pré-requisito para sistemas de IA que operam em ambientes do mundo real, onde a capacidade de adaptar regras aprendidas a novas situações é crucial (ex: robótica e modelos de mundo).

Em resumo, o COGITAO não é apenas um novo dataset, mas uma ferramenta crítica para provar que os modelos de IA atuais ainda não possuem a "inteligência composicional" necessária para raciocínio abstrato robusto.