Resumo Técnico: A Composicionalidade Emerge em um Regime Estreito de Profundidade–Conectividade

Declaração do Problema

Os modelos de fundação modernos (LLMs, VLMs, modelos de difusão) exibem capacidades robustas, mas sofrem de uma generalização frágil, particularmente na compreensão composicional. Perturbações pequenas e irrelevantes para a tarefa podem desencadear mudanças comportamentais agudas, sugerindo a falta de uma estrutura composicional interna robusta. Enquanto algoritmos evolutivos (ex: NEAT no Picbreeder) podem descobrir "Representações Fatoradas Unificadas" (UFR) — primitivas unificadas, reutilizáveis e semanticamente estáveis — a otimização padrão baseada em gradiente (SGD) tipicamente converge para "Representações Fraturadas e Emaranhadas" (FER). Na FER, os conceitos são distribuídos por neurônios sobrepostos, e as características são polissêmicas, falhando em se alinhar com significados estáveis e interpretáveis.

A questão central abordada é: Pode a monossemântica e a composicionalidade emergir durante o backpropagation padrão baseado em gradiente e, se sim, sob quais condições arquiteturais específicas? Os autores hipotetizam que essa emergência não é um resultado padrão de escala ou de perda baixa, mas é governada por um problema de acessibilidade estrutural definido pela interação entre profundidade e conectividade da rede.

Metodologia

1. Conjunto de Avaliação: EMC2-Bench

Para quantificar a composicionalidade, os autores introduzem o EMC2-Bench, um conjunto de avaliação baseado em perturbação.

• Métrica: A "Pontuação Composicional" é definida como a fração de parâmetros não nulos que, quando perturbados por ruído ($\delta$), preservam a identidade semântica global da imagem gerada.
• Procedimento: Para cada peso não nulo $w$, uma cópia perturbada $w' = w + \delta$ é criada. A rede gera uma imagem, que é avaliada por um juiz de Modelo de Linguagem-Visão (VLM) (Qwen3-VL-4B-Thinking) para determinar se o conteúdo semântico (ex: "crânio") permanece intacto.
• Baseline: O benchmark compara MLPs densos treinados via SGD contra soluções evolutivas (CPPNs do Picbreeder) e várias estratégias de poda (pruning).

2. Intervenções Estruturais

• Poda Baseada em Similaridade (SP): Para recuperar a conectividade composicional, os autores propõem um algoritmo iterativo de poda-retreinamento.
  • Mecanismo: Dentro de cada camada, mapas de características por neurônio são extraídos. Neurônios com alta similaridade de cosseno são identificados como redundantes. Um neurônio de cada par redundante é selecionado aleatoriamente para remoção, e seus pesos de entrada/saída são zerados.
  • Objetivo: Isso força a rede a alocar neurônios distintos para fatores semânticos distintos, colapsando soluções emaranhadas em circuitos esparsos e reutilizáveis.
• Preditor de Profundidade Heurístico: Reconhecendo que a profundidade ideal depende do alvo, os autores propõem o uso da razão de compressão PNG da imagem alvo como um proxy para a complexidade da imagem. Uma relação linear é observada entre a complexidade da imagem e a profundidade empiricamente ótima, permitindo a predição de uma profundidade "ponto ideal" leve, sem varreduras exaustivas.

3. Estrutura Teórica

O artigo fornece uma justificativa teórica baseada em:

• Esparsidade Composicional: Baseando-se na hipótese do manifold, os autores argumentam que soluções composicionais fatoram através de um Grafo Acíclico Dirigido (DAG) com aridade local limitada.
• Argumento da Razão de Volume: Eles definem a "razão de volume composicional" $\rho(W, L)$ como a probabilidade de uma configuração de parâmetros aleatória cair em um basal composicional. Eles provam que $\rho$ está fortemente concentrada em um ponto específico $(W_{min}, L^*)$ e decai exponencialmente conforme a largura ($W$) ou profundidade ($L$) se desvia deste ponto.
• Limites de Interferência de Características: Usando o limite de Welch, eles demonstram que a esparsidade composicional reduz o limite geométrico inferior da interferência de características, tornando características monossêmicas (ortogonais) geometricamente viáveis apenas quando o número de primitivas $r$ é menor ou igual à dimensão $d$.

Principais Resultados

1. O Regime Estreito de Profundidade–Conectividade

A composicionalidade não emerge universalmente; ela aparece apenas em um regime específico:

• Conectividade: A composicionalidade depende fortemente de quais conexões permanecem, não apenas do nível de esparsidade. Métodos de poda padrão (Lottery Ticket Hypothesis, Wanda, LLM-Pruner) falham em recuperar estruturas composicionais (pontuando 0 no EMC2-Bench). Apenas a Poda Baseada em Similaridade (SP) produz pontuações não nulas, indicando que a organização das conexões é crítica.
• Profundidade: A composicionalidade exibe uma relação não monotônica com a profundidade. Para alvos específicos (ex: crânio, borboleta, maçã), a pontuação composicional atinge o pico em uma profundidade específica e cai rapidamente se a rede for tornada mais rasa ou mais profunda. Essa profundidade ideal é específica para o alvo.

2. Otimização e Emergência

• Sensibilidade do Otimizador: Mesmo com a arquitetia correta, o otimizador importa. O Muon (um otimizador que utiliza iterações de Newton-Schulz) alcança uma perda de treinamento menor e pontuações composicionais mais altas do que o Adam. Isso sugere que mínimos melhores (mais planos, mais estáveis) são necessários para alcançar o basal composicional.
• Fragilidade da FER: Quando as condições de profundidade ou conectividade são violadas, o gradiente descendente converge silenciosamente para soluções fraturadas. Pequenas perturbações aos pesos nessas soluções causam deriva semântica, enquanto soluções composicionais permanecem robustas.

3. Generalização para Alvos Desconhecidos

O método transfere-se para imagens onde a solução composicional subjacente é desconhecida (ex: cenas naturais, imagens de múltiplos objetos). O SP combinado com o preditor de profundidade heurístico recupera com sucesso características intermediárias monossêmicas e variações de saída significativas sob varredura de pesos, embora o efeito seja mais fraco para cenas complexas de múltiplos objetos.

Significância e Alegações

O artigo afirma que a generalização requer restrições arquiteturais que tornem as soluções composicionais acessíveis ao treinamento baseado em gradiente.

• Refutação de Soluções Baseadas Apenas em Escala: Os autores argumentam que escalar sozinho (aumentar largura ou profundidade) tende a gerar soluções fraturadas porque a medida relativa do manifold composicional encolhe conforme o espaço de parâmetros cresce (Argumento da Razão de Volume).
• Insight Mecanístico: O trabalho une a lacuna entre a existência de implementações compactas e modulares (provadas por algoritmos evolutivos) e a falha do backpropagation vanilla em encontrá-las. Ele postula que o SGD é enviesado para basais composicionais apenas quando a arquitetura está "exatamente certa" (ponto ideal estreito de profundidade-conectividade) e o otimizador é capaz de encontrar mínimos planos.
• Implicações Práticas: A introdução do SP e do preditor de profundidade oferece um caminho para induzir estrutura composicional em MLPs padrão sem alterar o objetivo de treinamento, simplesmente restringindo a arquitetura e a estratégia de poda.

Os autores mantêm-se modestos, observando que, embora o framework explique bem a composicionalidade de objeto único, a composicionalidade espacial em cenas de múltiplos objetos permanece uma fronteira aberta devido ao aumento exponencial de primitivas ($P$) necessárias, o que colapsa a razão de volume $\rho$. Eles não alegam ter resolvido o raciocínio composicional geral para todas as tarefas de visão-linguagem, mas identificaram um regime estrutural específico onde isso é empiricamente e teoricamente alcançável.