Resumo Técnico: Podem os Grandes Modelos de Linguagem Generalizar Procedimentos Através de Representações?

Declaração do Problema

Grandes Modelos de Linguagem (LLMs) são extensivamente treinados em representações simbólicas, como código e grafos, contudo, as tarefas reais dos usuários são predominantemente especificadas em linguagem natural (LN). Uma capacidade crítica e subexplorada para LLMs robustos é a generalização trans-representacional: a habilidade de transferir o conhecimento procedimental aprendido em uma representação (ex: código ou grafos) para resolver tarefas especificadas em outra (ex: linguagem natural).

Pesquisas existentes frequentemente confundem fatores de representação superficiais com fatores estruturais profundos, falhando em isolar se o treinamento simbólico auxilia ou prejudica o raciocínio em linguagem natural. Além disso, enquanto a ciência cognitiva identifica a analogia generativa — a habilidade de mapear estruturas aprendidas através de representações ao alinhar estruturas subjacentes compartilhadas — como um mecanismo central do raciocínio humano, os LLMs são estudados primariamente em analogias proporcionais com alta similaridade superficial. Este artigo investiga se os LLMs podem generalizar procedimentos através de tarefas isomórficas apresentadas em linguagem natural, grafos e código, e, se não, como preencher essa lacuna.

Metodologia

Configuração Experimental

Os autores construíram um ambiente experimental controlado usando tarefas isomórficas onde o algoritmo subjacente permanece idêntico, mas a representação superficial varia. A tarefa principal é o planejamento assíncrono (agendamento de etapas com dependências e durações de tempo), formalizado como a busca pelo caminho mais longo (caminho crítico) em um Grafo Acíclico Dirigido (DAG).

• Linguagem Natural (LN): Tarefas descritas como instruções passo a passo com dependências (ex: "A Etapa 1 deve preceder a Etapa 3").
• Grafo: Tarefas representadas como listas de adjacência e pesos de nós.
• Código: Tarefas representadas como trechos de Python implementando algoritmos de caminho mais longo em DAG com entradas específicas.

O estudo avaliou três famílias de modelos (Qwen-2.5, Llama-3, Olmo-2) através de várias escalas (de 1.5B a 7B parâmetros) usando quatro estratégias de pós-treinamento:

1. SFT Vanilla: Ajuste fino (fine-tuning) em pares de prompt-resposta sem Cadeia de Pensamento (CoT).
2. Destilação: Treinamento em CoT de raciocínio gerado por um modelo professor mais forte (DeepSeek-R1-Distill-Qwen-32B).
3. STaR (Self-Taught Reasoner): Um método de bootstrapping onde o modelo treina em suas próprias gerações corretas.
4. GRPO (Group Relative Policy Optimization): Um método de aprendizado por reforço usando recompensas de resultado verificáveis.

Solução Proposta: Currículo de RL de Dois Estágios

Para abordar a falha observada de treinamento de representação única, os autores propõem um currículo de aprendizado por reforço de dois estágios:

1. Estágio 1 (Indução Simbólica): Treinar o modelo em dados simbólicos (Grafo ou Código) para aprender procedimentos abstratos.
2. Estágio 2 (Adaptação à Linguagem Natural): Treinar continuamente o modelo em dados de Linguagem Natural para adaptar os procedimentos aprendidos à representação alvo.

Esta abordagem separa o aprendizado da estrutura abstrata da adaptação da forma superficial.

Principais Resultados

1. Falha da Generalização Trans-Representacional Ingênua

• Simbólico para LN: O treinamento apenas em dados de Grafo ou Código produz alto desempenho dentro dessas representações, mas falha ao generalizar para tarefas de LN. O desempenho frequentemente colapsa sob mudanças de representação, mesmo quando a lógica subjacente é idêntica.
• LN para Simbólico: O treinamento apenas em dados de LN leva a ganhos de desempenho ineficientes e não transfere de forma confiável para tarefas simbólicas.
• Comparação de Métodos: Embora o GRPO e a Destilação mostrem forte desempenho intra-representação, eles não resolvem inerentemente a lacuna trans-representacional. Escalar os parâmetros do modelo (ex: de 1.5B para 7B) não altera qualitativamente esse padrão de falha; modelos maiores frequentemente exibem uma queda mais acentuada no desempenho fora da distribuição.

2. Eficácia do Currículo de Dois Estágios

• Ganhos de Desempenho: O currículo Grafo $\to$ LN melhora substancialmente o desempenho. Um modelo Qwen de 1.5B treinado com este currículo supera sua variante de 7B treinada apenas em LN e iguala o desempenho zero-shot do GPT-4o na tarefa de planejamento assíncrono.
• Robustez: O currículo demonstra robustez a variações linguísticas, superando baselines em NL-AAVE (Inglês Vernáculo Afro-Americano), um dialeto que desafia modelos de fronteira.
• Sensibilidade à Ordem: A ordem do treinamento é crítica. Reverter o currículo (LN $\to$ Grafo) performa pior do que treinar apenas em LN, indicando que a indução simbólica é necessária para estabelecer a fundação estrutural antes da adaptação.
• Generalização: Os benefícios do currículo estendem-se além do planejamento para tarefas de Matemática e Física, mostrando melhor generalização entre domínios.

3. Mecanismo de Generalização: Analogia Generativa

Os autores analisam se o sucesso é impulsionado pela frequência de dados ou pela similaridade estrutural (analogia).

• Análise de Correlação: Usando a teoria de mapeamento de estrutura, eles quantificam a "força analógica" entre instâncias de treinamento e teste. Os resultados mostram que a generalização bem-sucedida trans-representacional correlaciona-se significativamente mais com alta força analógica (similaridade estrutural) do que com a frequência de instâncias de treinamento similares.
• Evidência Qualitativa: Modelos treinados com o currículo exibem um raciocínio mais sistemático (iterando através de múltiplos caminhos para encontrar o mais longo) comparado ao "raciocínio preguiçoso" ou simples soma observado em modelos treinados apenas em LN ou Grafo isoladamente.

Significância e Alegações

O artigo alega que, embora os LLMs possuam a capacidade de generalizar entre representações, eles não o fazem naturalmente através de métodos padrão de pós-treinamento. Em vez disso, essa capacidade deve ser cultivada através de currículos específicos.

• Analogia Generativa: O estudo interpreta a generalização trans-representacional bem-sucedida como uma forma de analogia generativa, onde o modelo alinha estruturas subjacentes compartilhadas em vez de memorizar padrões superficiais. O currículo proposto incentiva efetivamente esse comportamento analógico.
• Requisitos de Treinamento: Ao contrário do raciocínio analógico humano, que pode generalizar com exposição mínima, os LLMs requerem treinamento estendido nas novas representações (via estágio de adaptação) para utilizar efetivamente os procedimentos abstratos aprendidos no estágio simbólico.
• Limitações: Os autores observam que, apesar das melhorias, permanece uma lacuna de desempenho entre a LN padrão e variantes dialetais (NL-AAVE), destacando desafios contínuos de equidade tecnológica. Adicionalmente, o artigo não afirma que escalar representações no tempo de treinamento por si só resolverá o problema, visto que o escalonamento de representação única falhou em produzir transferência.

Em conclusão, o trabalho demonstra que um currículo de RL estruturado de dois estágios pode preencher a lacuna entre o raciocínio simbólico e o de linguagem natural, permitindo que modelos menores alcancem níveis de desempenho comparáveis a modelos muito maiores, em zero-shot, em tarefas procedimentais complexas.