Technische Samenvatting: HASTE – Hiërarchische Accumulatie van Vaardigheden voor Transfer-Efficiënt ML Engineering

Probleemstelling

Huidige Machine Learning Engineering (MLE) agents, zoals geëvalueerd op benchmarks zoals MLE-Bench, opereren grotendeels als "cold starts". Ondanks het bestaan van herbruikbare technieken over verschillende competities heen, resetten agents hun staat tussen taken, waardoor ze bekende oplossingen telkens opnieuw van scratch moeten ontdekken. Deze redundantie verbruikt aanzienlijke compute-budgetten en leunt zwaar op frontier-modellen of uitgebreide tijdslimieten om herhaalde exploratie te compenseren. Hoewel recent werk cross-task transfer heeft verkend, maken bestaande systemen vaak gebruik van platte pools of vector stores voor kennisopslag. Deze "platte" organisatie verzwakt het signaal binnen het contextvenster, wat het voor agents moeilijk maakt om de juiste prior voor een specifieke taak te selecteren, wat leidt tot inefficiënte exploratie en suboptimale prestaties.

Methodologie: HASTE Architectuur

De auteurs stellen HASTE voor (Hierarchical Accumulation of Skills for Transfer-Efficient ML Engineering), een multi-agent systeem dat is ontworpen om geaccumuleerde kennis te organiseren naar scope en deze hiërarchisch te laden.

1. Hiërarchische Skill Store

De kerninnovatie is een plain-text skill store die is georganiseerd in drie scope-tiers, opgeslagen als markdown-bestanden met YAML frontmatter:

• Global Tier: Vaardigheden die toepasbaar zijn op alle ML-taken (bijv. "Het combineren van een sterk model met een zwakker model kan de prestaties verslechteren").
• Domain Tier: Vaandigheden specifiek voor modaliteiten (Tabular, Vision, NLP, Audio).
• Competition Tier: Vaardigheden die gekoppeld zijn aan specifieke datasets of unieke eigenschappen van een enkele competitie.

De store bevat drie soorten entries, die elk een specifieke functie hebben in de agent-loop:

• Technique Entries: Registreren wat wel of niet werkte (bijv. "Target encoding helpt bij high-cardinality categorische variabelen").
• Commitment Priors: Identificeren ontwerpkeuzes met een hoge cross-task variantie, wat aangeeft dat er bewijs nodig is voordat men zich vastlegt op een specifieke architectuur.
• Refinement Hints: Specificeren welke hyperparameters of "knoppen" afgestemd moeten worden voor specifieke modelfamilies.

2. Agent Hiërarchie en Executie

Het systeem maakt gebruik van een twee-niveau hiërarchie:

• Orchestrator: Classificeert competities in domeinen, plant de uitvoering in en beheert de skill promotion. Na elke ronde evalueert een LLM nieuwe leerprocessen om te beslissen of ze overgeslagen moeten worden, op competitieniveau behouden moeten blijven, geabstraheerd moeten worden naar het domeinniveau, of gepromoveerd moeten worden naar het globale niveau. Conflicten worden opgelost door condities toe te voegen (bijv. "Ensembling helpt als correlatie < 0.95").
• Domain Specialists: Afzonderlijke agents voor Tabular, Vision en NLP taken. Elke specialist voert een vijf-fasen pipeline uit:
  1. Task Profiling: Analyseert metadata en resources.
  2. Prototype Screen: Stelt drie diverse model-benaderingen voor en test deze.
  3. Adaptive Refinement: Een lineaire refinement-loop (Exploring → Optimizing → Fine-tuning) met auto-escalatie en revert-on-regression mechanismen.
  4. Ensemble: Combineert de beste checkpoints.
  5. Learning Production: Reflecteert op de experimentele geschiedenis om nieuwe skills te genereren.

3. Scoped Context Loading

Cruciaal is dat agents niet de volledige skill inventaris laden. De orchestrator laadt alleen de skills die overeenkomen met de scope van de agent (Global + relevante Domain + Competition-specifieke). Dit houdt de context gefocust, voorkomt signaalverwatering en zorgt ervoor dat de agent alleen relevante priors ziet.

Belangrijkste Bijdragen

1. 3-Tier Hiërarchische Skill Store: Een innovatieve organisatie van herbruikbare kennis op basis van toepasbaarheidsscope (Global, Domain, Competition), gekoppeld aan een LLM-gestuurd promotiemechanisme om geleerde zaken omhoog te abstraheren.
2. Scoped Loading Mechanisme: De eerste evaluatie van "scoped loading" tegenover "flat loading" (het dumpen van alle skills) en "empty loading" onder een vaste skill inventaris.
3. Empirische Validatie op MLE-Bench Lite: Demonstratie dat een non-frontier model (Claude Sonnet 4.6) met een budget van 12 uur een competitieve prestatie kan leveren (77.3% medal rate) door gebruik te maken van georganiseerde kennis, waarmee het presteert op gelijke hoogte met agents die sterkere modellen of langere budgetten gebruiken.

Experimentele Resultaten

Hoofd Benchmark (MLE-Bench Lite)

• Prestaties: HASTE behaalde een 77.3% medal rate (17/22 competities) met behulp van Claude Sonnet 4.6 en een budget van 12 uur. Dit komt overeen met de prestatieband van toonaangevende agents die frontier-modellen (bijv. Gemini-3-Pro) en 24-uurs budgetten gebruiken.
• Transfer Efficiëntie:
  • Cold Start: Een single-pass run zonder geaccumuleerde skills behaalde slechts een 40.9% medal rate.
  • Warm Start: Het herladen van globale en domein-skills tilde hetzelfde systeem naar 77.3%, waarbij 8 van de 13 voorheen mislukte competities werden omgezet naar een medal status.
  • Iteratie Reductie: Warm starts vereisten 52% minder refinement iteraties (7.8 vs. 16.3) om piekscores te bereiken.
  • Hit Rate: Het deel van de voorgestelde wijzigingen dat door de agent werd behouden, steeg van 42% (lage inventaris) naar 85% (50+ skills).

Gecontroleerde Ablatie (Vaste Inventaris)

Om het effect van organisatie te isoleren van het volume aan skills, voerden de auteurs 8 competities uit met een vaste inventaris van 159 skills onder drie condities:

• Tiered Loading: Alleen relevante skills geladen (10–60 per taak). Resultaat: 100% medal rate.
• Flat Loading: Alle 159 skills geladen (~145k tekens). Resultaat: 62.5% medal rate (gelijk aan empty loading).
• Empty Loading: Geen skills. Resultaat: 62.5% medal rate.

Efficiëntie Bevindingen:

• Flat loading verbruikte 2× meer output tokens (3.78M) dan empty loading (1.86M) voor dezelfde medal rate, en 2.7× meer tokens per medal dan tiered loading.
• Flat loading leed onder signaalverwatering (relevante skills begraven in ruis) en context budget displacement (het verdringen van redenering).
• Tiered loading was het meest effectief op moeilijkere of niche taken (bijv. Audio, specifieke NLP taken) waar domein- en competitie-specifieke priors een bekend startpunt boden.

Betekenis en Claims

Het paper betoogt dat betere kennisorganisatie gedeeltelijk kan dienen als substituut voor modelsterkte en compute-budget in ML engineering agents. De primaire claim is niet enkel dat het accumuleren van skills helpt, maar dat de structuur van die accumulatie cruciaal is.

• Organisatie boven Volume: De ablatie demonstreert dat een groot volume aan skills ineffectief is als ze ongecontroleerd worden geladen (flat loading). Het hiërarchische, scoped loading mechanisme is de bron van de prestatiewinst.
• Efficiëntie: Door de zoekruimte te verkleinen via gestructureerde priors, worden lineaire refinement loops voldoende, wat de noodzaak voor complexe tree-search of evolutionaire strategieën vermindert.
• Schaalbaarheid: Het systeem gebruikt plain-text opslag en eenvoudige concatenatie, waardoor de theoretische limieten van single-vector embeddings voor multi-field conditional retrieval worden vermeden.

De auteurs concluderen dat HASTE een verschuiving vertegenwoordigt van "zoek-zware" strategieën naar "kennisorganisatie-zware" strategieën, waardoor agents complexe engineering taken efficiënter kunnen oplossen door het vermijden van de herontdekking van bekende feiten.