Resumo Técnico: ANDES (Agent Native Data Evolving Synthesis)

Declaração do Problema

O artigo identifica um gargalo crítico no pós-treinamento autônomo de Grandes Modelos de Linguagem (LLMs): a incapacidade de agentes de adquirir dados de treinamento de alta qualidade, direcionados e diversos de forma confiável sob restrições rigorosas de computação. Embora tendências recentes visem delegar a tomada de decisão complexa do alinhamento de modelos (SFT e RL) a agentes autônomos, as avaliações revelam que até mesmo agentes de fronteira enfrentam dificuldades nesse domínio.

As abordagens atuais enfrentam dois modos primários de falha:

1. Aquisição Baseada na Web: Depender da busca aberta na web força os agentes a realizar planejamento de longo horizonte, parsing de HTML bruto e filtragem de ruído zero-shot. Isso impõe uma barreira proibitivamente alta, fazendo com que modelos mais fracos falhem antes de formar um loop de treinamento funcional, enquanto modelos avançados frequentemente lutam com a organização de dados e controle de qualidade.
2. Pipelines Sintéticos Estáticos: Métodos convencionais de dados sintéticos operam como scripts estáticos de etapa única, isolados do ciclo de treinamento ativo do agente. Eles carecem da capacidade de direcionar dinamicamente a geração com base em feedback diagnóstico em tempo real, levando a descompassos de domínio de dados, colapso de diversidade e overfitting a distribuições de benchmarks superficiais.

Há uma ausência crítica de uma interface de síntese de dados acessível, dinamicamente interativa e de alta qualidade, projetada especificamente para agentes de pós-treinamento.

Metodologia: O Framework ANDES

Para abordar essas lacunas, os autores introduzem o ANDES (Agent Native Data Evolving Synthesis), um framework que reimagina a geração de dados não como um pipeline estático, mas como uma habilidade de agente plug-and-play. O ANDES fornece uma camada de abstração inteligente, permitindo que agentes treinadores direcionem dinamicamente a síntese de dados através de uma interface de loop fechado interativa.

O framework opera através de quatro estágios principais:

1. Requisição de Agente Direcionada por Objetivos

Antes de invocar o ANDES, o agente treinador analisa benchmarks de downstream e os decompõe em $K$ domínios de capacidade macro (ex: raciocínio matemático, geração de código). Em vez de enumerar requisitos de tarefas específicas, o agente os abstrai em dimensões de capacidade subjacentes para garantir cobertura de dados transferível. Para cada domínio, o agente constrói uma descrição de tarefa ($\tau$), aloca um orçamento de amostra ($N$) e seleciona um protocolo de formato ($\phi$) como configuração de entrada.

2. Roteamento de Árvore de Mundo Autoevolutiva (Self-Evolving Dynamic World Tree Routing)

Para facilitar o embasamento preciso de tarefas específicas mantendo a diversidade, o ANDES utiliza uma Árvore de Mundo ($W$) estruturada como Tópico → Tema → Cenário (ex: Cibersegurança → Prevenção de Vazamento de Informações → Medidas de Prevenção).

• Amostragem Ponderada: Os tópicos são amostrados proporcionalmente aos seus pesos. Um LLM de Roteamento avalia os cenários amostrados contra a descrição da tarefa, classificando-os como Fortes (alinhados à tarefa), Fracos (genéricos) ou Ambíguos.
• Ponderação Adaptativa: Os pesos são atualizados com base em classificações de adequação, deslocando o orçamento de síntese para tópicos semanticamente alinhados enquanto preserva a cobertura residual.
• Evolução Dinâmica de Nós: Para evitar o esgotamento dos pools de cenários em tópicos de alta relevância, o sistema aciona uma "evolução de subárvore" quando a contagem de seleção de um tópico excede um limite de saturação. Um LLM Evolver gera novos temas e cenários condicionados às gerações anteriores, garantindo que a taxonomia permaneça fresca e evite redundância.

3. Síntese de Dados em Dois Estágios

Cada configuração de roteamento é processada através de um pipeline de dois estágios:

• Estágio 1 (Geração de QA): Gera pares de Pergunta-Resposta brutos. Para amostras de "trilha de fusão" (alinhadas à tarefa), o prompt injeta a descrição da tarefa como uma restrição rígida enquanto usa o cenário como um invólucro contextual. Para amostras de "trilha genérica", os prompts focam em dados de instrução gerais.
• Estágio 2 (Refino e Sumarização): Um LLM de Refino critica os outputs brutos, atribuindo uma pontuação de esforço para filtrar respostas fortemente defeituosas. As respostas retidas são reescritas. Crucialmente, uma verificação de diversidade lógica é realizada nas amostras da trilha de fusão para detectar e suprimir a repetição de templates de raciocínio (colapso).

4. Partição Direcionada por Relatório e Ajuste de Configuração

O sistema retorna um conjunto de dados refinado junto com um Relatório de Síntese contendo sinais diagnósticos (ex: resumos de diversidade lógica, distribuição de tópicos, contagens de amostras efetivas). O agente treinador usa este relatório para:

• Filtrar Dados: Aplicar filtragem ativa para remover amostras com repetição lógica detectada.
• Ajustar Configuração: Revisar dinamicamente a próxima invocação da descrição da tarefa ($\tau$) para visar ângulos de capacidade subexplorados e ajustar o orçamento de amostra ($N$) para compensar as amostras descartadas. Isso cria uma interação de loop fechado onde o agente progressivamente direciona a síntese para uma melhor cobertura de capacidade.

Principais Contribuições

1. Mudança Conceitual: O artigo reconceitualiza a síntese de dados de um pipeline estático e offline para uma habilidade de agente plug-and-play, reduzindo significamente o limiar de capacidade para aquisição autônoma de dados.
2. A Ferramenta ANDES: Implementação de uma ferramenta de síntese impulsionada por roteamento de Árvore de Mundo autoevolutiva e feedback direcionado por relatórios. Isso abstrai a mecânica intrincada de curadoria de dados, permitindo que os agentes foquem em estratégias de otimização de alto nível.
3. Validação Empírica: Avaliação abrangente demonstrando que a integração do ANDES no loop de pós-treinamento ativo permite que modelos fundamentalmente mais fracos alcancem um auto-melhoramento autônomo notável e garantam desempenho estado da arte (SOTA).

Resultados Experimentais

Os autores avaliaram o ANDES no PostTrainBench, um benchmark projetado para avaliar capacidades de pós-treinamento autônomo.

• Desempenho SOTA: Sob restrições rigorosas de computação, um agente GLM-4.7 equipado com ANDES alcançou uma pontuação média de 33,39% no PostTrainBench. Isso supera o método concorrente mais forte, Opus-4.7 (xHigh), que pontuou 28,56%, e supera significativamente a linha de base de execução pura (GLM-4.7 com apenas Scaffold) em 7,48%.
• Generalização entre Modelos: O ANDES alcançou consistentemente o maior desempenho médio em quatro modelos base diferentes (Qwen3-1.7B, Qwen3-4B, SmolLM-3B e Gemma3-4B), indicando que sua eficácia não está atrelada a uma arquitetura de modelo específica.
• Estudos de Ablação:
  • Scaffold vs. Ferramenta: Embora um scaffold de agente customizado tenha melhorado o desempenho em relação a uma linha de base padrão de CLI, a integração da ferramenta ANDES impulsionou uma "segunda onda" definitiva de melhorias, confirmando que a síntese de dados ativa e alinhada ao alvo é o principal motor do sucesso.
  • Mecanismo de Interação: Remover a interação direcionada por relatório reduziu o desempenho (de 30,39% para 26,80% no Qwen3-1.7B), validando que a interação de múltiplas rodadas é essencial para otimizar a qualidade e a diversidade dos dados.
• Escalabilidade: A análise da Árvore de Mundo mostrou que, conforme o volume de dados escala, o sistema desvia com sucesso o foco para nós relevantes ao alvo (aumentando a razão de "dados de fusão") enquanto evolui continuamente novos nós para evitar o colapso da diversidade.

Significância e Alegações

O artigo alega que o principal gargalo nos pipelines de pesquisa automatizados não é a execução do treinamento, mas a aquisição confiável de dados de alta qualidade, direcionados e diversos dentro de orçamentos de computação limitados.

O ANDES demonstra que interfaces de síntese de dados estruturadas, interativas e evoluíveis são um passo promissor em direção ao alinhamento de modelos escalável e confiável. Ao transformar a geração de dados em um jogo dinâmicos de loop fechado, onde agentes filtram ativamente os dados e calibram configurações, o framework permite que mesmo agentes fundamentalmente mais fracos alcancem desempenho SOTA, preenchendo efetivamente a lacuna entre as capacidades dos agentes e as exigências rigorosas do pós-treinamento.