Recursive Concept Evolution for Compositional Reasoning in Large Language Models

1. O Problema

Os Modelos de Linguagem Grandes (LLMs) atuais demonstram alto desempenho em diversas tarefas, mas falham sistematicamente em problemas que exigem raciocínio composicional e a formação de novas abstrações durante a inferência. Benchmarks como ARC-AGI-2, GPQA, MATH e HLE revelam que, quando a tarefa exige estruturas conceituais que não estão codificadas no espaço latente fixo do modelo pré-treinado, a precisão cai drasticamente.

A limitação fundamental é arquitetural: os estados ocultos dos transformadores residem em um espaço vetorial de dimensão fixa, cujas direções significativas foram determinadas durante o pré-treinamento. Métodos existentes, como Chain-of-Thought (Cadeia de Pensamento), Tree-of-Thought ou Aprendizado por Reforço (RL), apenas otimizam a trajetória de geração de tokens dentro desse espaço congelado. Se as direções necessárias para representar uma invariância ou abstração específica não existem no espaço latente, nenhuma quantidade adicional de geração de tokens ou busca criará essas direções. O modelo está "buscando mais profundamente com o mapa errado".

2. Metodologia: Recursive Concept Evolution (RCE)

O RCE é um framework que permite que modelos de linguagem pré-treinados (com pesos congelados) modifiquem sua geometria de representação interna durante a inferência. O sistema introduz subespaços de conceitos de baixo posto dinamicamente gerados e evolui uma biblioteca desses conceitos.

Mecanismos Principais:

1. Definição do Subespaço de Conceito:

   • Cada conceito $C_i$ consiste em uma matriz de base de baixo posto $B_i \in \mathbb{R}^{d \times r}$ (onde $r \ll d$, ex: $r=16$), uma função de porta (gating) $g_i(x)$ e um operador de projeção $P_i = B_i B_i^\top$.
   • Esses conceitos são injetados na residual stream de uma camada específica do decoder, atualizando o estado oculto $h$ para $h' = h + \sum g_i(x) B_i B_i^\top h$.

2. Mecanismo de "Spawn" (Criação):

   • Um sinal de detecção de falha monitora a entropia preditiva e a margem de confiança do modelo. Se a incerteza for alta (indicando inadequação da base representacional atual), um gerador (MLP) sintetiza candidatos a bases de baixo posto adaptados à falha específica.

3. Seleção via Comprimento Mínimo de Descrição (MDL):

   • Nem todos os candidatos são aceitos. Um conceito é adicionado à biblioteca apenas se a redução no erro de reconstrução (ou perda da tarefa) superar o custo de complexidade que ele adiciona à biblioteca. Isso impõe uma pressão de "Occam", evitando o crescimento degenerado e garantindo que apenas conceitos que comprimem a representação da tarefa sejam mantidos.

4. Fusão (Merge) e Hierarquia:

   • Conceitos que co-ativam consistentemente e cuja contribuição conjunta supera a soma das partes individuais são fundidos via SVD truncada em abstrações de ordem superior. Isso cria uma hierarquia composicional (ex: de "simetria" e "cor" para "refletir e recolorir").

5. Cristalização e Regularização:

   • Conceitos estáveis são "cristalizados" (salvos ou distilados em adaptadores LoRA).
   • Penalidades de ortogonalidade entre conceitos e entropia da porta garantem que a biblioteca permaneça compacta, distinta e esparsa.

3. Principais Contribuições

1. Identificação da Limitação Geométrica: O artigo formaliza que a incapacidade de raciocínio composicional em LLMs decorre da rigidez da geometria latente fixa, e não apenas da falta de dados ou de estratégias de busca.
2. Framework RCE: Introdução de um método que permite a evolução da representação em tempo de inferência, transformando o raciocínio de otimização de trajetória de tokens para adaptação de nível de representação.
3. Integração e Validação: Implementação bem-sucedida no Mistral-7B, demonstrando que é possível criar novas abstrações sem re-treinar o modelo base, com custo computacional marginal.

4. Resultados Experimentais

O RCE foi avaliado em cinco benchmarks de raciocínio composicional, superando consistentemente as linhas de base (incluindo CoT, Self-Consistency, Tree-of-Thought, GRPO e DisCO).

• Desempenho (Mistral-7B):
  • ARC-AGI-2: Aumento de 12–18 pontos (de 12.4% para 28.0%).
  • GPQA e BBH: Melhorias de 8–14 pontos.
  • MATH e HLE: Reduções consistentes em erros induzidos pela profundidade do raciocínio.
• Robustez Out-of-Distribution (OOD):
  • Sob mudanças de distribuição (permutação de cores, rotação espacial, adição de distratores), o RCE manteve >91% de sua precisão padrão, enquanto as linhas de base caíram para 68–80%. Isso prova que o RCE aprende invariantes estruturais, não apenas dicas superficiais.
• Eficiência Computacional:
  • O RCE alcança a maior precisão com apenas 1.04x o custo computacional do modelo base (overhead de ~4%). Em contraste, métodos como Self-Consistency e Tree-of-Thought exigem 16x a 25x mais FLOPs para resultados inferiores.
• Análise da Biblioteca:
  • Após o treinamento, a biblioteca estabilizou em 47 conceitos ativos, organizados em uma hierarquia de três níveis (primitivos, intermediários e abstrações de alto nível), demonstrando composição e reutilização entre tarefas.

5. Significado e Conclusão

O RCE representa uma mudança de paradigma na melhoria de raciocínio de LLMs. Enquanto métodos anteriores focam em otimizar a trajetória de saída dentro de um espaço fixo, o RCE foca em expandir e evoluir o próprio espaço representacional.

• Implicação Teórica: Demonstra que a capacidade de raciocínio composicional pode ser desbloqueada permitindo que o modelo "invente" novas ferramentas conceituais dinamicamente, em vez de depender apenas do conhecimento pré-treinado.
• Escalabilidade: O método é leve em termos de memória (a biblioteca completa ocupa <0.25% dos parâmetros do modelo base) e computação, tornando-se viável para modelos grandes.
• Futuro: O trabalho abre caminho para sistemas cujas capacidades de raciocínio crescem cumulativamente através da experiência, superando o teto imposto pelas representações adquiridas durante o pré-treinamento estático.

Em suma, o RCE resolve o problema de "mapas fixos" permitindo que o modelo desenhe novos mapas conforme necessário para resolver problemas complexos e abstratos.