Resumo Técnico: HASTE – Acúmulo Hierárquico de Habilidades para Engenharia de ML com Eficiência de Transferência

Declaração do Problema

Os agentes atuais de Engenharia de Machine Learning (MLE), conforme avaliados em benchmarks como o MLE-Bench, operam amplamente como "cold starts" (inícios a frio). Apesar da existência de técnicas reutilizáveis entre competições, os agentes resetam seu estado entre as tarefas, forçando-os a redescobrir soluções conhecidas do zero. Essa redundância consome orçamentos significativos de computação e depende fortemente de modelos de fronteira ou limites de tempo estendidos para compensar a exploração repetida. Embora trabalhos recentes tenham explorado a transferência entre tarefas, os sistemas existentes frequentemente armazenam o conhecimento em pools planos ou repositórios de vetores. Essa organização "plana" dilui o sinal dentro da janela de contexto, tornando difícil para os agentes selecionarem o prior correto para uma tarefa específica, o que leva a uma exploração ineficiente e ao desempenho subótimo.

Metodologia: Arquitetura HASTE

Os autores propõem o HASTE (Hierarchical Accumulation of Skills for Transfer-Efficient ML Engineering), um sistema multi-agente projetado para organizar o conhecimento acumulado por escopo e carregá-lo hierarquicamente.

1. Repositório de Habilidades Hierárquico

A inovação central é um repositório de habilidades em texto simples organizado em três níveis de escopo, armazenado como arquivos markdown com frontmatter YAML:

• Nível Global: Habilidades aplicáveis a todas as tarefas de ML (ex: "Ensemble de um modelo forte com um mais fraco pode degradar o desempenho").
• Nível de Domínio: Habilidades específicas de modalidades (Tabular, Visão, NLP, Áudio).
• Nível de Competição: Habilidades ligadas a conjuntos de dados específicos ou peculiaridades únicas de uma única competição.

O repositório contém três tipos de entradas, cada uma servindo a uma função distinta no loop do agente:

• Entradas de Técnica: Registram o que funcionou ou falhou (ex: "Target encoding ajuda em categóricos de alta cardinalidade").
• Priors de Compromisso: Identificam escolhas de design com alta variância entre tarefas, sinalizando que evidências são necessárias antes de se comprometer com uma arquitetura específica.
• Dicas de Refinamento: Especificam quais hiperparâmetros ou "botões" devem ser ajustados para famílias de modelos específicas.

2. Hierarquia de Agentes e Execução

O sistema emprega uma hierarquia de dois níveis:

• Orquestrador: Classifica as competições em domínios, agenda a execução e gerencia a promoção de habilidades. Após cada rodada, um LLM avalia novos aprendizados para decidir se deve ignorá-los, mantê-los no nível da competição, abstraí-los para o nível de domínio ou promovê-los ao nível global. Conflitos são resolvidos anotando condições (ex: "Ensemble ajuda se a correlação < 0,95").
• Especialistas de Domínio: Agentes separados para tarefas de Tabular, Visão e NLP. Cada especialista executa um pipeline de cinco estágios:
  1. Perfilamento de Tarefa: Analisa metadados e recursos.
  2. Triagem de Protótipo: Propõe e testa três abordagens de modelos diversas.
  3. Refinamento Adaptativo: Um loop de refinamento linear (Exploração → Otimização → Ajuste Fino) com escalonamento automático e mecanismos de reversão em caso de regressão.
  4. Ensemble: Combina os melhores checkpoints.
  5. Aprendizado de Produção: Reflete sobre o histórico de experimentos para gerar novas habilidades.

3. Carregamento de Contexto Escopado

Crucialmente, os agentes não carregam todo o inventário de habilidades. O orquestrador carrega apenas as habilidades que correspondem ao escopo do agente (Global + Domínio relevante + Específicas da Competição). Isso mantém o contexto focado, evitando a diluição do sinal e garantindo que o agente veja apenas os priors relevantes.

Principais Contribuições

1. Repositório de Habilidades Hierárquico de 3 Níveis: Uma organização inovadora de conhecimento reutilizável por escopo de aplicabilidade (Global, Domínio, Competição), acoplada a um mecanismo de promoção impulsionado por LLM para abstrair aprendizados para cima.
2. Mecanismo de Carregamento Escopado: A primeira avaliação de "carregamento escopado" contra "carregamento plano" (despejar todas as habilidades) e "carregamento vazio" sob um inventário de habilidades fixo.
3. Validação Empírica no MLE-Bench Lite: Demonstração de que um modelo não-fronteira (Claude Sonnet 4.6) com um orçamento de 12 horas pode alcançar um desempenho competitivo (77,3% de taxa de medalha) ao alavancar o conhecimento organizado, igualando-se a agentes que usam modelos mais fortes ou orçamentos mais longos.

Resultados Experimentais

Benchmark Principal (MLE-Bench Lite)

• Desempenho: O HASTE alcançou uma taxa de medalha de 77,3% (17/22 competições) usando Claude Sonnet 4.6 e um orçamento de 12 horas. Isso iguala a faixa de desempenho de agentes líderes que usam modelos de fronteira (ex: Gemini-3-Pro) e orçamentos de 24 horas.
• Eficiência de Transferência:
  • Cold Start: Uma execução de passagem única sem habilidades acumuladas alcançou apenas 40,9% de taxa de medalha.
  • Warm Start: O recarregamento de habilidades globais e de domínio elevou o mesmo sistema para 77,3%, revertendo 8 de 13 competições anteriormente falhas para o status de medalha.
  • Redução de Iteração: Os warm starts exigiram 52% menos iterações de refinamento (7,8 vs. 16,3) para atingir os scores de pico.
  • Taxa de Acerto (Hit Rate): A fração de mudanças propostas mantidas pelo agente subiu de 42% (baixo inventário) para 85% (50+ habilidades).

Ablação Controlada (Inventário Fixo)

Para isolar o efeito da organização em relação ao volume de habilidades, os autores executaram 8 competições com um inventário fixo de 159 habilidades sob três condições:

• Carregamento em Camadas (Tiered Loading): Carregou apenas as habilidades relevantes (10–60 por tarefa). Resultado: 100% de taxa de medalha.
• Carregamento Plano (Flat Loading): Carregou todas as 159 habilidades (~145k caracteres). Resultado: 62,5% de taxa de medalha (o mesmo que o carregamento vazio).
• Carregamento Vazio (Empty Loading): Sem habilidades. Resultado: 62,5% de taxa de medalha.

Descobertas de Eficiência:

• O carregamento plano consumiu 2× mais tokens de saída (3,78M) do que o carregamento vazio (1,86M) para a mesma taxa de medalha, e 2,7× mais tokens por medalha do que o carregamento em camadas.
• O carregamento plano sofreu de diluição de sinal (habilidades relevantes enterradas no ruído) e deslocamento de orçamento de contexto (afastando o raciocínio).
• O carregamento em camadas foi mais eficaz em tarefas mais difíceis ou de nicho (ex: Áudio, tarefas específicas de NLP) onde os priors de domínio e competição forneceram um ponto de partida conhecido e seguro.

Significância e Alegações

O artigo argumenta que uma melhor organização de conhecimento pode, em parte, substituir a força do modelo e o orçamento de computação em agentes de engenharia de ML. A principal alegação não é meramente que acumular habilidades ajuda, mas que a estrutura desse acúmulo é crítica.

• Organização sobre Volume: A ablação demonstra que um grande volume de habilidades é ineficaz se carregado indiscriminadamente (carregamento plano). O mecanismo de carregamento hierárquico e escopado é a fonte do ganho de desempenho.
• Eficiência: Ao estreitar o espaço de busca através de priors estruturados, loops de refinamento linear tornam-se suficientes, reduzindo a necessidade de estratégias complexas de busca em árvore ou evolutivas.
• Escalabilidade: O sistema utiliza armazenamento de texto simples e concatenação simples, evitando os limites teóricos de embeddings de vetor único para recuperação condicional de múltiplos campos.

Os autores concluem que o HASTE representa uma mudança das estratégias "pesadas em busca" para estratégias "pesadas em organização de conhecimento", permitindo que agentes resolvam tarefas complexas de engenharia de forma mais eficiente ao evitar a redescoberta de fatos conhecidos.