Efficient Embedding-based Synthetic Data Generation for Complex Reasoning Tasks

Dit artikel introduceert een gerichte pipeline voor embedding-based sampling die de kwaliteit en diversiteit van synthetische data verbetert door de correlatie tussen de dichtheid van voorbeelden in de inbeddingsruimte en de voorspellingnauwkeurigheid te benutten, wat leidt tot betere prestaties van kleinere taalmodellen.

De kern

Stel je voor dat je een jonge, slimme leerling hebt die wiskundeproblemen moet oplossen. Deze leerling is niet zo groot of rijk als de "grote meester" (een enorm computermodel), maar hij kan net zo goed leren als hij de juiste oefeningen krijgt.

Dit artikel beschrijft een slimme manier om die oefeningen te maken, zodat de leerling sneller en beter wordt. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Willekeurige" Oefenboeken

Tot nu toe maakten mensen oefeningen voor deze leerling door gewoon willekeurig voorbeelden uit een grote stapel boeken te trekken.

• Het nadeel: Je trekt vaak dezelfde soort moeilijke sommen uit de stapel, terwijl je de leerling juist nodig hebt op de gebieden waar hij niet goed in is. Het is alsof je een kind dat slecht is in vermenigvuldigen, 100 keer sommen geeft over optellen. Het helpt niet echt.
• Andere pogingen: Sommigen proberen een strakke lijst te maken met categorieën (bijv. "sommen met breuken", "sommen met decimale getallen"), maar dat is veel werk om te maken en vaak niet helemaal eerlijk verdeeld.

2. De Oplossing: Een "Landkaart" van Kennis

De auteurs van dit paper hebben een nieuw idee: in plaats van naar de tekst te kijken, kijken ze naar een landkaart van de kennis (in het Engels: embedding space).

• De Analogie: Stel je voor dat je een kaart tekent van een stad.
  • Dichte gebieden: Dit zijn drukke stadsdelen waar veel mensen wonen (veel voorbeelden in de dataset). De leerling kent dit gebied al heel goed.
  • Lege gebieden: Dit zijn dorre woestijnen of verlaten plekken waar niemand woont (weinig voorbeelden). Hier is de leerling onzeker en maakt hij veel fouten.

Het artikel laat zien dat er een heel sterke link is: Hoe minder voorbeelden er in een gebied op de kaart zijn, hoe slechter de leerling daar presteert.

3. De Methode: De "Lege Plekken" Vullen

In plaats van willekeurig te kiezen, doet hun systeem het volgende:

1. De Kaart Bekijken: Ze kijken waar de "woestijnen" zijn op de kaart van de leerling. Waar is het te leeg?
2. De Randen Kiezen: Ze zoeken twee bestaande voorbeelden die aan de randen van zo'n lege woestijn staan.
3. Het Midden Vullen: Ze nemen die twee voorbeelden en "mixen" ze in het midden van de lege plek. Dit is alsof je twee bomen aan de rand van een bos neemt en in het midden een nieuwe boom plant.
4. De Nieuwe Oefening Maken: Een "grote meester" (een krachtige AI) krijgt deze nieuwe, gemixte situatie en maakt er een perfecte nieuwe wiskundevraag van.

Door dit te doen, vullen ze precies de gaten op de kaart die de leerling nog niet kent. Ze maken de "woestijn" groen en bewoonbaar.

4. Het Resultaat: Slimmer Leren met Minder Werk

De testresultaten waren indrukwekkend:

• De leerling die deze "geplande" oefeningen kreeg, werd veel beter dan de leerling die willekeurige oefeningen kreeg.
• Het verschil was het grootst bij de leerling die nog niet zo veel oefeningen had. Zelfs met weinig oefeningen (500 stuks) presteerde deze methode twee keer zo goed als de willekeurige methode.
• Het werkt voor verschillende soorten "leerlingen" (verschillende AI-modellen) en verschillende soorten wiskundevragen.

Samenvattend

Stel je voor dat je een tuin hebt.

• De oude manier: Je strooit zaden willekeurig over de hele tuin. Sommige plekken krijgen te veel, andere plekken (de droge stukken) krijgen niets.
• De nieuwe manier: Je kijkt eerst waar de aarde droog is. Dan ga je precies daar zaden strooien, door bestaande zaden te combineren om nieuwe soorten te maken die daar kunnen gedijen.

Dit paper laat zien dat als je je aandacht richt op de lege plekken in de kennis van een AI, je die AI veel sneller en efficiënter kunt leren dan door gewoon maar veel te oefenen. Het is niet alleen kwantiteit, maar vooral de juiste kwaliteit op de juiste plek.

Technische samenvatting

Titel: Efficiënte op embedding gebaseerde synthetische data-generatie voor complexe redeneertaken

Auteurs: Srideepika Jayaraman, Achille Fokoue, Dhaval Patel, Jayant Kalagnanam (IBM Research)

---

1. Probleemstelling

Synthetische Data Generatie (SDG) met behulp van Large Language Models (LLMs) wordt steeds vaker gebruikt om kleinere, meer resource-efficiënte modellen (studentmodellen) te verbeteren via fine-tuning. Een fundamentele uitdaging bij SDG is echter het waarborgen van de kwaliteit en diversiteit van de gegenereerde data.

Bestaande methoden vertrouwen vaak op willekeurige steekproeven (random sampling) uit een bestaande set voorbeelddata (seed pool). Dit leidt volgens de auteurs tot over-sampling van de dominante modi van het 'teacher'-model, wat resulteert in beperkte diversiteit. Andere benaderingen, zoals taxonomie-gedreven sampling, vereisen handmatige taxonomieën die moeilijk te bouwen en te balanceren zijn.

Bovendien negeren de meeste bestaande SDG-methoden de specifieke zwaktes van het doelmodel (studentmodel) waarvoor de data wordt gegenereerd. Ze genereren data zonder inzicht in waar het studentmodel in de semantische ruimte juist faalt.

2. Methodologie: Embedding-based SDG

De auteurs stellen een nieuwe, gerichte pipeline voor die de synthetische data-generatie baseert op de embedding-ruimte van het studentmodel zelf. De kerngedachte is dat gebieden met een lage dichtheid van voorbeelden in de embedding-ruimte correleren met gebieden waar het model slechte prestaties levert.

Het proces verloopt in zes stappen:

1. Embedding Berekening:
   Elke trainingsexemplaar uit de dataset $D$ wordt omgezet in een vector in een embedding-ruimte $E$. Hiervoor wordt een transformer-based LLM gebruikt om token-embeddings en attention-weights te berekenen. Om de hoge dimensie en de niet-isotrope aard van de ruimte te beheersen, wordt dimensiereductie (bijv. PCA, t-SNE) toegepast om een compacte $K$-dimensionale ruimte te creëren.

2. Identificatie van Sparsiteit:
   De auteurs analyseren de verdeling van de data in deze ruimte. Ze identificeren "spare" gebieden (zones met weinig data-punten) door de ruimte op te delen in een rooster (grid). Gebieden met een aantal punten onder een bepaalde drempelwaarde $T$ worden beschouwd als kandidaat-sparse regio's. Deze regio's vertegenwoordigen ondervertegenwoordigde onderwerpen waar het model waarschijnlijk moeite mee heeft.

3. Selectie van Seed-voorbeelden:
   Voor elke geïdentificeerde sparse regio worden twee bestaande voorbeelden (seeds) uit de dataset geselecteerd. Deze worden specifiek gekozen aan de tegenovergestelde zijden (of vlakken) van de sparse regio om de grenzen van het gebrek aan kennis te definiëren.

4. Interpolatie:
   De twee geselecteerde seeds worden geïnterpoleerd om een nieuw embedding-vector te creëren dat in het midden van de sparse regio ligt. Dit gebeurt door de gewogen embedding-sequenties van de seeds te middelen en vervolgens opnieuw dimensiereductie toe te passen. Dit zorgt ervoor dat het nieuwe punt waarschijnlijk binnen dezelfde semantische "gap" valt.

5. Decoding:
   Het gegenereerde nieuwe embedding-vector wordt teruggezet naar natuurlijke taal (text) door het studentmodel te prompten met een specifieke decoding-prompt. Dit resulteert in een tekst die semantisch tussen de twee oorspronkelijke seeds ligt.

6. Generatie door Teacher Model:
   Het gegenereerde tekstfragment, samen met de twee oorspronkelijke seeds, wordt gebruikt als prompt voor een krachtiger 'Teacher LLM'. Dit model genereert een nieuw, hoogwaardig synthetisch voorbeeld (vraag en antwoord) dat specifiek gericht is op het vullen van de kennislacune in die sparse regio.

3. Belangrijkste Bijdragen

1. Gerichte SDG: Een methode die specifiek is ontworpen om de diversiteit en kwaliteit van data te verbeteren voor een specifiek studentmodel, in plaats van generieke data te produceren.
2. Analyse van Embedding-ruimte: Een empirische analyse die aantoont dat er een sterke correlatie bestaat tussen de dichtheid van voorbeelden in een bepaalde regio van de embedding-ruimte en de nauwkeurigheid van het model in die regio.
3. Experimentele Validatie: Een uitgebreide evaluatie die aantoont dat deze aanpak consistent betere prestaties levert dan willekeurige steekproeven over verschillende modellen en datasets.

4. Resultaten

De methode werd getest op drie modellen (Granite 3 8B, Granite 3.1 8B, en Mistral 7B) met de taak wiskundig redeneren, gebruikmakend van de datasets GSM8K en MATH.

• Prestatieverbetering: De "EmbedSDG"-methode (embedding-driven) overtrof consistent de "Random Seed Selection" methode en de basismodellen.
  • Bijvoorbeeld: Mistral 7B op GSM8K vertoonde een verbetering van bijna 2x (van 0,354 naar 0,62) met slechts 500 synthetische voorbeelden.
  • Granite 3.1 8B toonde een verbetering van tot 16% op de MATH-dataset ten opzichte van het basismodel.
• Efficiëntie: De voordelen van de embedding-gebaseerde aanpak zijn het grootst bij een klein aantal voorbeelden. Naarmate het aantal voorbeelden toeneemt, nemen de prestatieverschillen met willekeurige sampling af, maar blijft de embedding-methode over het algemeen superieur.
• Correlatie: Er werd een sterke positieve correlatie gevonden (Pearson $r \approx 0,81$) tussen de dichtheid van data in een regio en de modelnauwkeurigheid. Dit bevestigt dat het vullen van "gaten" in de embedding-ruimte direct leidt tot betere prestaties.

5. Betekenis en Conclusie

Dit paper introduceert een paradigmaverschuiving in synthetische data-generatie: van het genereren van data op basis van willekeurige of handmatig gedefinieerde taxonomieën, naar het geometrisch analyseren van de embedding-ruimte van het doelmodel.

De belangrijkste inzichten zijn:

• Data-schaarste is een directe oorzaak van prestatieverschillen: Gebieden met weinig trainingdata in de embedding-ruimte corresponderen met lage modelnauwkeurigheid.
• Gerichte interventie: Door synthetische data specifiek te genereren in deze ondervertegenwoordigde gebieden, kan de efficiëntie van het fine-tuning-proces drastisch worden verhoogd.
• Toekomstperspectief: De methode biedt een weg om kleinere modellen (minder dan 20B parameters) concurrerend te maken met veel grotere modellen, wat essentieel is voor duurzaamheid en toepasbaarheid in resource-beperkte omgevingen.

De auteurs erkennen beperkingen, zoals de afhankelijkheid van datasets die bekend zijn bij het fine-tuning-proces van het doelmodel en de rekenkracht die nodig is voor de embedding-berekeningen, maar benadrukken dat de winst in efficiëntie voor kleinere modellen de moeite waard is.