MachineLearningLM: Scaling Many-shot In-context Learning via Continued Pretraining

1. Het Probleem

Grote Taalmodellen (LLMs) beschikken over brede wereldkennis en sterke redeneercapaciteiten, maar ze worstelen om nieuwe taken te leren op basis van veel voorbeelden (many-shot) binnen de context van standaard machine learning (ML) taken.

• Beperkingen van huidige LLMs: Hoewel LLMs goed zijn in few-shot learning (weinig voorbeelden), presteren ze vaak slecht bij het verwerken van honderden tot duizenden voorbeelden in de prompt. De nauwkeurigheidsverbetering plat vaak af na slechts een paar voorbeelden, en ze zijn gevoelig voor label-bias en de volgorde van voorbeelden.
• Beperkingen van gespecialiseerde tabulaire modellen: Bestaande modellen die specifiek zijn ontworpen voor tabulaire data (zoals TabPFN of TabICL) missen vaak de brede wereldkennis en het vermogen tot multimodaal redeneren dat LLMs hebben. Ze zijn vaak afhankelijk van complexe feature-engineering en kunnen geen gebruikmaken van externe kennis of vrije tekst in de data.
• De Kernvraag: Kan een algemene LLM worden onderwezen om "ML in context" uit te voeren (d.w.z. voorspellingen doen zonder gradiëntafstapeling, puur op basis van voorbeelden in de prompt) terwijl zijn algemene vaardigheden behouden blijven?

2. Methodologie

De auteurs introduceren MACHINELEARNINGLM, een framework dat een algemene LLM (Qwen-2.5-7B-Instruct) uitrust met robuuste many-shot in-context learning (ICL) capaciteiten via een continue pretraining-strategie.

A. Synthese van Pretraining Data (SCM-based)

In plaats van te vertrouwen op bestaande datasets, genereren de auteurs miljoenen synthetische ML-taken:

• Structurele Causale Modellen (SCMs): Er worden $3 \times 10^6$ unieke SCMs gegenereerd. Deze omvatten diverse graafstructuren, functies (zoals tanh, ReLU, en zelfs boom-gebaseerde regressors) en ruis.
• Diversiteit: De taken variëren in aantal features (5-50), aantal klassen (2-10), en aantal shots (tot 1.024).
• Voordeel: Dit garandeert dat er geen overlap is tussen de trainingsdata en de evaluatiedata, wat data-lekkage voorkomt en generalisatie test.

B. Random Forest Teacher Warm-up (Knowledge Distillation)

Direct trainen op synthetische data kan leiden tot instabiliteit of "model collapse". Om dit te voorkomen:

• Een Random Forest (RF) fungeert als leraar.
• Tijdens een warm-up-fase leert het model eerst de voorspellingen van de RF na (knowledge distillation).
• Dit stabiliseert het trainingsproces en introduceert robuuste numerieke inductieve bias voordat het model zelfstandige ICL-strategieën ontwikkelt.

C. Token-efficiënt Prompting

Om duizenden voorbeelden in de context te passen, worden drie innovaties toegepast:

1. Tabulaire Encoding: In plaats van lange natuurlijke taalbeschrijvingen, worden voorbeelden opgeslagen in een compacte tabelvorm (komma-gescheiden waarden).
2. Gehele Getal Normalisatie: Numerieke waarden worden genormaliseerd naar gehele getallen in het bereik $[0, 999]$. Dit elimineert tokenisatie-problemen met decimalen (bijv. "1.11" vs "1.9") en zorgt ervoor dat elk getal slechts één token inneemt in veel tokenizers.
3. Batch-inferentie: In plaats van één query per keer, worden $N=50$ query's in één sequentie verwerkt. Dit verhoogt de effectieve batchgrootte en amortiseert de overhead van instructies en context.

D. Order-Robuuste Zelfconsistentie

Tijdens inferentie worden de volgorde van de demonstraties en features gewijzigd (geshuffeld) om positie-bias te verminderen. De uiteindelijke voorspelling is een gewogen meerderheidsstemming op basis van de waarschijnlijkheid van de modellen over deze variaties.

3. Belangrijkste Bijdragen

• MACHINELEARNINGLM: Een portabel pretraining-framework dat een algemene LLM transformeert tot een krachtige many-shot ML-learner zonder de architectuur te wijzigen.
• Scalability Law: Het model toont een opmerkelijke "many-shot scaling law": de nauwkeurigheid neemt monotoon toe naarmate het aantal voorbeelden in de context toeneemt van 8 tot 1.024.
• Behoud van Algemene Vaardigheden: In tegenstelling tot gespecialiseerde modellen, behoudt MACHINELEARNINGLM zijn algemene chat- en redeneercapaciteiten (bijv. presteert het goed op MMLU).
• Efficiëntie: Door token-efficiënte encoding en batch-inferentie kan het model 3-6x meer voorbeelden verwerken per contextvenster en een 50x hogere doorvoer bereiken via amortisatie.

4. Resultaten

Het model werd geëvalueerd op de TALENT-benchmark (tabulaire classificatietaken) en vergeleken met state-of-the-art modellen:

• Vergelijking met LLMs: MACHINELEARNINGLM overtreft sterke baselines (zoals Qwen-2.5-7B, GPT-5-mini en o3-mini) met gemiddeld ~15% op out-of-distribution tabulaire classificatie, vooral bij hoge shot-aantallen (128-1024 shots).
• Vergelijking met Tabulaire Methoden: Zonder taak-specifieke training bereikt het model nauwkeurigheid op het niveau van een Random Forest over een breed scala aan shots (8-512). Het presteert vaak beter dan instance-based methoden (kNN) en benadert de prestaties van gespecialiseerde tabulaire foundation modellen.
• Generalisatie: Het model toont sterke generalisatie naar contexten die veel langer zijn dan de trainingslimiet (getest tot 131k tokens, terwijl de training beperkt was tot 32k tokens).
• Algemene Capaciteiten: Op de MMLU-benchmark behoudt het model zijn prestaties (75.4% bij 50 shots), wat aantoont dat het niet "vergeten" heeft hoe men moet chatten of redeneren.

5. Betekenis en Toekomstperspectief

Deze paper bewijst dat gecontroleerde continue pretraining op synthetische, causale data een praktische route is om LLMs in staat te stellen complexe numerieke taken uit te voeren puur via in-context learning.

• Paradigmaverschuiving: Het combineert de robuustheid van klassieke ML (zoals Random Forests) met de flexibiliteit en kennis van LLMs.
• Toepassingen: Het opent de deur voor agents die ML-taken kunnen uitvoeren zonder per-taak fine-tuning, en die kunnen omgaan met heterogene data (tekst + cijfers) in real-time workflows.
• Toekomst: De auteurs zien potentie voor uitbreiding naar multimodale data (afbeeldingen, tijdreeksen), interpretatie (narratieve uitleg van causale mechanismen) en integratie met retrieval-augmented learning (RAG) voor nog grotere datasets.

Kortom, MACHINELEARNINGLM is een doorbraak in het maken van LLMs tot effectieve, schaalbare en veelzijdige machine learning-learners die kunnen "leren door te kijken" naar duizenden voorbeelden.