Resumo Técnico: Descoberta Evolutiva de Tarefas (EVOTD)

Declaração do Problema

As capacidades de raciocínio dos Modelos de Linguagem de Grande Escala (LLMs) avançaram significativamente por meio de paradigmas de pós-treinamento como Aprendizado por Reforço a partir de Recompensas Verificáveis (RLVR). No entanto, a eficácia desses métodos é fundamentalmente limitada pela diversidade e complexidade dos dados de treinamento disponíveis. Embora a síntese de dados ofereça uma solução para a escassez de tarefas de raciocínio curadas por humanos, os métodos prevalentes que dependem de mutação não estruturada (por exemplo, solicitar a um LLM que "tornar isso mais difícil") sofrem de colapso de homogeneidade. Essas abordagens frequentemente geram amostras quase duplicadas ou falham em expandir sistematicamente a fronteira do raciocínio porque confundem diversidade textual com diversidade algorítmica. Além disso, as taxonomias baseadas em habilidades existentes frequentemente abordam a lógica de um problema (a habilidade), mas negligenciam as restrições estruturais (a complexidade), resultando em currículos "planos" que falham em induzir generalização robusta através das escalas.

Metodologia: Descoberta Evolutiva de Tarefas (EVOTD)

Para abordar essas limitações, os autores propõem o EVOTD, um framework que trata a síntese de dados como uma busca dirigida sobre uma variedade estruturada de dois eixos. A inovação central é o desacoplamento de uma tarefa de raciocínio em duas dimensões ortogonais:

1. Habilidades Algorítmicas ($S$): A espinha dorsal lógica semântica de uma tarefa (por exemplo, busca binária, programação dinâmica, travessia de grafos).
2. Atributos de Complexidade ($C$): As restrições estruturais paramétricas que ditam a magnitude da instância do problema (por exemplo, tamanho da entrada, profundidade da árvore, intervalo de valores).

O Motor Evolutivo

O EVOTD emprega um paradigma proponente-solucionador, onde um LLM "proponente" sintetiza tarefas e um LLM "solucionador" aprende com elas via RLVR. O processo de síntese utiliza dois operadores evolutivos estruturados para percorrer o espaço de tarefas:

• Mutação de Atributos (Evolução Vertical): Este operador escala os atributos de complexidade enquanto preserva estritamente a espinha dorsal lógica. Em vez de perturbação aleatória de texto, o proponente realiza uma auditoria metacognitiva para selecionar atributos aplicáveis (por exemplo, aumentar tree_depth apenas para tarefas baseadas em árvores) e intensificá-los. Isso impulsiona o modelo a aprender soluções invariantes à escala em vez de heurísticas frágeis.
• Cruzamento de Habilidades (Evolução Horizontal): Este operador explora novas composições de habilidades combinando padrões algorítmicos distintos (por exemplo, mesclar dijkstra com priority_queue ou bitmask_dp com bfs). O proponente é guiado a encontrar combinações sinérgicas onde as habilidades estão profundamente interconectadas, em vez de concatenadas sequencialmente, prevenindo a degeneração combinatória.

Filtragem Dinâmica do Currículo

Um componente crítico do EVOTD é o filtro Zona de Desenvolvimento Proximal (ZPD). Para garantir que as tarefas sejam pedagogicamente eficazes, o framework verifica três condições antes que uma tarefa entre no conjunto de treinamento:

1. Executabilidade: O código deve ser executado sem erros de sintaxe e terminar dentro dos limites.
2. Alinhamento de Habilidades: A tarefa gerada deve aderir estritamente às habilidades algorítmicas alvo.
3. Aprendizabilidade: A tarefa não deve ser nem trivial nem impossível para a política atual do solucionador ($\pi_\theta$). Especificamente, a taxa de aprovação do solucionador deve cair dentro de um intervalo não trivial ($0 < \text{taxa de aprovação} < 1$). À medida que o solucionador melhora, o filtro desloca dinamicamente a distribuição para instâncias mais difíceis, criando um currículo autoadaptativo.

Contribuições Principais

O artigo formaliza e demonstra as seguintes contribuições:

• Abstração de Dois Eixos: A formalização da síntese de tarefas de raciocínio como uma travessia dirigida sobre uma variedade de Habilidades Algorítmicas e Atributos de Complexidade, indo além do prompting ingênuo para um controle preciso sobre lógica e restrições.
• Operadores Evolutivos Estruturados: A introdução de Mutação de Atributos para escalonamento de complexidade e Cruzamento de Habilidades para descoberta de composição, permitindo a exploração sistemática dos limites do espaço de tarefas.
• Currículo ZPD Dinâmico: Um mecanismo de filtragem que garante que os dados de treinamento permaneçam dentro da região aprendível do modelo, facilitando a melhoria contínua do raciocínio sem colapso de modo.
• Validação Empírica: Avaliações extensas em cinco benchmarks (geração de código e raciocínio matemático) demonstrando que currículos evolutivos estruturados superam a síntese heurística e as linhas de base de autoaperfeiçoamento.

Resultados Experimentais

Os autores avaliaram o EVOTD em diversas arquiteturas de modelos (Qwen3, LLaMA), regimes de pré-treinamento (Base, Instruct) e escalas de parâmetros (3B–8B).

• Ganhos de Raciocínio: No modelo de raciocínio Qwen3-4B, o EVOTD alcançou ganhos substanciais em benchmarks competitivos, incluindo +8,2% no AIME 24 e +7,2% no AIME 25.
• Generalização: O método superou consistentemente as linhas de base (incluindo Evol-Instruct, SPIRAL e Agent0) em todos os backbones avaliados. Notavelmente, alcançou o melhor desempenho Pass@1 em todas as arquiteturas testadas.
• Robustez ao Colapso de Homogeneidade: Ao contrário dos métodos de síntese padrão que frequentemente inflacionam o Pass@1 enquanto degradam o Pass@k (indicando colapso de modo), o EVOTD demonstrou ganhos consistentes tanto no Pass@1 quanto no Pass@8, sugerindo que prolifera trajetórias de raciocínio diversas.
• Escalonamento de Dificuldade: A margem de desempenho entre o EVOTD e as linhas de base aumentou com a dificuldade do problema, com os maiores ganhos relativos (até 90%) observados nos subconjuntos "Difíceis" de benchmarks como o LiveCodeBench. Isso confirma a eficácia da modulação de complexidade no ensino de lógica invariante à escala.
• Transferência para Domínio Geral: As melhorias transferiram-se limpa para benchmarks de raciocínio de domínio geral (MMLU-Pro, SuperGPQA), com os ganhos mais significativos concentrados em disciplinas adjacentes à STEM, onde o raciocínio rigoroso é a restrição vinculante.

Significado e Alegações

O artigo afirma que o EVOTD estabelece um novo paradigma para melhoria de raciocínio, deslocando-se da geração heurística não restrita para uma busca evolutiva estruturada. Os autores argumentam que:

1. Estrutura é Superior ao Acaso: Desacoplar sistematicamente a lógica da complexidade permite a geração de currículos de alta qualidade e diversos que o prompting heurístico não consegue alcançar.
2. Escalabilidade sem Custo Proibitivo: O EVOTD oferece um caminho pragmático para o aprimoramento do raciocínio que permite que modelos base escalem eficientemente, sem a sobrecarga computacional proibitiva de autojogos complexos ou frameworks integrados a ferramentas.
3. Interpretabilidade: Ao evoluir tarefas através de uma variedade transparente de habilidade-complexidade, o framework constrói um currículo que é tanto buscador de fronteira quanto interpretável, abordando a natureza de "caixa preta" de muitos sistemas de LLM autoaperfeiçoáveis.

Os autores concluem que a evolução estrutural fornece um sinal de treinamento muito mais confiável para raciocínio complexo do que a geração não estruturada comum no prompting padrão, efetivamente empurrando a fronteira de raciocínio dos LLMs.