🤖 machine learning

Automatic Combination of Sample Selection Strategies for Few-Shot Learning

Dit paper introduceert ACSESS, een methode die automatisch verschillende steekproefselectiestrategieën combineert om de prestaties van few-shot learning-modellen op tekst- en beeldgegevens te verbeteren, waarbij wordt aangetoond dat deze aanpak consistent beter presteert dan individuele strategieën en vooral effectief is bij een klein aantal voorbeelden.

Oorspronkelijke auteurs: Branislav Pecher, Ivan Srba, Maria Bielikova, Joaquin Vanschoren

Gepubliceerd 2026-04-20

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Branislav Pecher, Ivan Srba, Maria Bielikova, Joaquin Vanschoren

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Samenvatting: Hoe je de beste "voorbeelden" kiest voor een slimme computer

Stel je voor dat je een jonge, slimme student wilt leren een nieuwe taal spreken. Je hebt echter geen tijd om hem duizenden boeken te laten lezen. Je hebt maar een paar uur tijd en slechts een handvol zinnen om hem te leren. Dit noemen we in de computerwereld "Few-Shot Learning" (leren met weinig voorbeelden).

De grote vraag is: Welke handvol zinnen kies je?

Als je willekeurige zinnen kiest, leert de student misschien niets. Kies je de juiste, meest leerzame zinnen, dan wordt hij een expert in no-time. Tot nu toe wisten wetenschappers niet precies welke zinnen het beste waren, of ze probeerden het met één specifieke truc.

In dit paper presenteren de auteurs een nieuwe methode genaamd ACSESS. Laten we dit uitleggen met een paar simpele analogieën.

1. Het Probleem: De "Willekeurige" vs. De "Specifiek"

Stel je voor dat je een kok bent die een nieuw gerecht moet maken, maar je mag maar 5 ingrediënten gebruiken.

De oude aanpak: Je pakt willekeurig 5 ingrediënten uit de kast. Soms werkt het, vaak niet.
De nieuwe, specifieke aanpak: Je pakt alleen ingrediënten die lijken op wat je al kent (bijvoorbeeld: als je pasta maakt, neem je alleen pasta-achtige dingen). Dit werkt soms goed, maar is te star.
Het probleem: De beste kok zou niet alleen kijken naar "gelijkheid", maar ook naar "verscheidenheid" en "leerbaarheid".

2. De Oplossing: ACSESS (De Super-Kok)

De auteurs van dit paper hebben een methode bedacht die ACSESS heet. Denk aan ACSESS als een super-chef die niet één, maar alle beste recepten van andere chefs combineert.

In plaats van te kiezen voor één eigenschap (bijvoorbeeld: "kies alleen de moeilijkste woorden"), kijkt ACSESS naar een mix van eigenschappen:

Informatie: Is dit voorbeeld leerzaam?
Verscheidenheid: Is dit voorbeeld anders dan de rest?
Leervaardigheid: Is dit voorbeeld makkelijk of juist lastig om te begrijpen?

De Creatieve Analogie: Het Orkest
Stel je voor dat je een orkest wilt samenstellen voor een concert.

Als je alleen vioolspelers kiest (alleen één eigenschap: "lijkt op een viool"), klinkt het saai.
Als je alleen de moeilijkste stukken kiest, kan het publiek het niet volgen.
ACSESS is de dirigent die zegt: "Ik wil een violist die lastige stukken kan spelen, een cellist die makkelijk te leren is, en een fluitist die heel anders klinkt dan de rest." Door deze verschillende soorten muzikanten (strategieën) te combineren, krijg je het mooiste geluid (de beste prestatie).

3. Wat hebben ze ontdekt? (De "Aha!"-momenten)

De auteurs hebben gekeken naar 23 verschillende manieren om voorbeelden te kiezen, op tekst (zoals nieuwsberichten) en afbeeldingen. Hier zijn de belangrijkste bevindingen, vertaald naar alledaags taal:

De "Mix" wint altijd: Geen enkele enkele truc was de beste. Maar als je ze combineert (zoals ACSESS doet), wint je altijd. Het is beter om een team te hebben dan een eenzame held.
Moeilijk is soms goed, soms niet:
- Bij In-Context Learning (waarbij een grote AI-model gewoon "leest" wat je schrijft zonder te worden getraind), werken moeilijke voorbeelden het beste. Het is alsof je een student lastige raadsels geeft; dat maakt hem slimmer.
- Bij Gradient Learning (waarbij de computer daadwerkelijk "oefent" en zijn hersenen aanpast), werken makkelijke voorbeelden beter. Het is alsof je een kind eerst de basis leert voordat je het moeilijke dingen geeft.
Kwaliteit boven Kwantiteit:
- Als je maar weinig voorbeelden hebt (bijvoorbeeld 1 of 5), is het kiezen van de juiste voorbeelden cruciaal. Het verschil tussen een goede en een slechte keuze kan enorm zijn.
- Als je veel voorbeelden hebt (bijvoorbeeld 30 of 40), maakt het niet meer uit welke je kiest. De computer leert dan vanzelf, en zelfs willekeurige keuzes werken goed.
- Metaphor: Als je een huis bouwt met slechts 5 bakstenen, moet je de perfecte bakstenen kiezen. Als je 1000 bakstenen hebt, maakt het niet uit of je een paar slechte ertussen hebt.

4. Waarom is dit belangrijk?

Vroeger dachten mensen: "We moeten een heel speciale, ingewikkelde methode bedenken voor elk specifiek probleem."
Dit paper zegt: "Nee, we hebben gewoon een slimme manier nodig om de bestaande, bewezen methoden te mixen."

Het is alsof je niet een nieuwe motor hoeft te bouwen voor elke auto, maar gewoon de beste onderdelen van verschillende motoren in één chassis stopt.

Conclusie in één zin

ACSESS is een slimme methode die automatisch de beste mix van voorbeelden kiest voor een computer om te leren, waardoor hij met veel minder data (en dus minder tijd en geld) beter presteert dan ooit tevoren. Het bewijst dat soms de beste manier om te leren, is om te weten wat je moet leren, niet alleen hoe je het moet leren.

Probleemstelling

In Few-Shot Learning (FSL) is de prestatie van een model sterk afhankelijk van de kwaliteit van de geselecteerde steekproeven (samples) wanneer slechts een beperkt aantal gelabelde data beschikbaar is. Hoewel er veel onderzoek is gedaan naar steekproefselectiestrategieën in traditionele, supervised settings, wordt dit vaak genegeerd bij Large Language Models (LLMs) en In-Context Learning (ICL). Bestaande strategieën voor ICL zijn vaak specifiek op maat gemaakt voor één bepaald doel (bijv. alleen op gelijkenis of diversiteit gebaseerd) en missen de robuustheid van lang bestaande methoden uit het actief leren.

De kernproblemen die dit paper adresseert zijn:

Het gebrek aan een systematische evaluatie van diverse bestaande selectiestrategieën over verschillende FSL-approaches (ICL, meta-learning, fine-tuning) en modaliteiten (tekst, beeld).
De beperking van individuele strategieën die vaak slechts één eigenschap van een sample (zoals informativiteit, representativiteit of leerbaarheid) maximaliseren, wat kan leiden tot suboptimale selectie.
De noodzaak om te bepalen of een combinatie van deze strategieën superieur is aan de state-of-the-art methoden die specifiek voor ICL zijn ontworpen.

Methodologie: ACSESS

De auteurs stellen ACSESS (Automatic Combination of SamplE Selection Strategies) voor. Dit is een methode om automatisch en optimaal meerdere selectiedoelstellingen te combineren om samples te identificeren met complementaire eigenschappen.

De methode bestaat uit drie fasen:

Definitie van Single-Property Strategieën:
Er wordt een set van 23 bestaande strategieën gedefinieerd, gecategoriseerd op basis van drie eigenschappen:
- Informativiteit: Bijv. Similarity, Diversity, Entropy, Margin, Least Confidence, Loss.
- Representativiteit: Bijv. Herding, KCenter, CRAIG, Glister.
- Leerbaarheid (Learnability): Bijv. Forgetting, Cartography (Easy, Hard, Ambiguous samples).
Identificatie van een Relevante Subset:
In plaats van alle mogelijke combinaties te testen (wat computationeel onhaalbaar is), gebruiken de auteurs drie methoden uit het traditionele machine learning (feature selection) om de beste subset van strategieën te vinden:
- Forward Selection: Iteratief toevoegen van strategieën die de prestaties het meest verhogen.
- Backward Selection: Iteratief verwijderen van strategieën totdat de prestaties niet meer stijgen.
- Datamodels Selection: Een regressiemodel (LASSO) wordt getraind op een dataset van willekeurige strategiecombinaties om te voorspellen welke strategieën bijdragen aan een hogere prestatie.
  De finale set strategieën ( $S_{final}$ ) is het snijpunt van de resultaten van deze drie methoden, wat zorgt voor een robuuste selectie van de meest impactvolle strategieën.
Combinatie en Scoren:
Elke sample krijgt een score gebaseerd op een gewogen som van de scores van de geselecteerde strategieën:
$score(x) = \sum_{s \in S} w_s \cdot objectives(x)$
Waarbij $w_s$ de gewichten zijn. De auteurs evalueren drie wegingsschema's:
- Uniform: Alle strategieën krijgen hetzelfde gewicht.
- Gewogen: Gewichten worden bepaald door het getrainde LASSO-model (dataset- en model-specifiek).
- Gewogen met Random: Voegt een random component toe om te testen of willekeurige selectie nog steeds een sterke baseline is.

Experimenten en Setup

Datasets: 6 tekstdatasets (o.a. 20 News Group, SNIPS) en 8 beelddatasets (uit Meta-Album).
Modellen:
- In-Context Learning: 5 instructie-getuned LLMs (Mistral-7B, Zephyr-7B, LLaMA-3.1-8B, Gemma-3-4B, Qwen-2.5-7B).
- Gradient-based FSL: Prototypical Networks, MAML en Few-Shot Fine-Tuning.
Setup: 5-way 5-shot setting, met evaluatie over 600 (gradient) en 300 (ICL) willekeurige taken om variatie door random seeds te minimaliseren.

Belangrijkste Resultaten

Superioriteit van ACSESS:
De combinatie van strategieën via ACSESS presteert consistent beter dan elke individuele single-property strategie. Het overtreft ook de state-of-the-art, ICL-specifieke baselines (zoals LENS, Active Prompt, EXPLORA, CASE) met een gemiddelde toename van 0,95 tot 0,16 procentpunten.
- Voor ICL: Tot +2,5% verbetering.
- Voor Gradient FSL: Tot +1,8% verbetering.
De Rol van Leerbaarheid (Learnability):
Een cruciale bevinding is dat de eigenschap "leerbaarheid" (hoe makkelijk een sample te leren is of hoe vaak het wordt vergeten) een sterkere indicator is voor succes dan pure informativiteit of representativiteit. Voor ICL blijken "moeilijk te leren" samples (op de beslissingsgrens) het meest waardevol, terwijl voor gradient-based learning "makkelijk te leren" en "niet-vergeten" samples vaak beter werken.
Impact van het Aantal Shots:
- Klaarheid bij weinig shots: De voordelen van selectie zijn het grootst bij een laag aantal shots (1-5). Bij 1-shot kan het verschil tussen ACSESS en willekeurige selectie oplopen tot 4-7 procentpunten.
- Diminishing returns: Na een bepaald punt (ongeveer 30-40 shots) neemt het voordeel van selectie af en convergeren alle strategieën naar willekeurige selectie.
- ICL Contextlimiet: Bij ICL daalt de prestatie soms bij te veel shots (bijv. 50+) vanwege de beperkte contextgrootte van LLMs, waardoor het model "degradeert" naar raden.
Effectiviteit op Kleine Datasets:
Sample selectie blijft effectief zelfs wanneer de dataset zelf klein is. Het selecteren van de beste 25% van de data (voor ICL) of 10% (voor gradient FSL) levert vaak vergelijkbare prestaties op als het gebruik van de volledige dataset.

Bijdragen en Significantie

Grootschalige Vergelijking: Dit paper biedt de eerste uitgebreide studie die 23 strategieën vergelijkt over 5 modellen en 3 FSL-approaches op 14 datasets.
Generaliseerbaarheid: Het toont aan dat bestaande, goed gevestigde strategieën (vaak vergeten in de LLM-context) net zo goed of beter presteren dan nieuwere, ICL-specifieke methoden, mits ze correct worden gecombineerd.
Praktische Richtlijnen:
- Voor maximale prestatie: Gebruik de volledige ACSESS methode met gewogen combinatie.
- Voor een goede trade-off tussen kosten en prestatie: Een uniforme combinatie van Cartography (leerbaarheid), Margin (beslissingsgrens) en soms Forgetting biedt een sterke, transferbare oplossing zonder extra trainingskosten.
- Bij veel shots (>30) is willekeurige selectie vaak voldoende en kostenefficiënter.

Conclusie:
De auteurs concluderen dat het cureren van een hoogwaardige subset van samples essentieel is voor Few-Shot Learning, vooral bij beperkte data. De ACSESS-methode biedt een robuust kader om de sterke punten van diverse selectiedoelstellingen te benutten, wat leidt tot consistente prestatieverbeteringen en een beter begrip van welke sample-eigenschappen (vooral leerbaarheid) het meest cruciaal zijn voor succes in zowel ICL als traditionele FSL.