DS$^2$-Instruct: Domain-Specific Data Synthesis for Large Language Models Instruction Tuning

Probleemstelling

Het aanpassen van Large Language Models (LLM's) aan gespecialiseerde domeinen (zoals wiskunde, financiën, juridische zaken of biomedische wetenschappen) vereist hoogwaardige instructie-tuning datasets. Het handmatig aanmaken van deze datasets door menselijke annotatie is echter extreem duur en schaalbaarheidsbeperkt.

Bestaande methoden voor datasynthese hebben twee belangrijke tekortkomingen:

1. Ze richten zich voornamelijk op algemene doeleinden en missen specifieke domeinterminologie en redeneerpatronen.
2. Aanvullende methoden voor domeinspecifieke tuning vereisen vaak dure, gespecialiseerde corpora of menselijke experts om "seed examples" (startvoorbeelden) te schrijven voor in-context learning. Dit beperkt de schaalbaarheid en maakt efficiënte domeinaanpassing moeilijk.

Er is dus behoefte aan een methode die hoogwaardige, domeinspecifieke instructiedata kan genereren zonder menselijke supervisie, seed-data of toegang tot gesloten corpora.

Methodologie: DS2-INSTRUCT

De auteurs introduceren DS2-INSTRUCT, een zero-shot framework dat systematisch instructiedata genereert op basis van slechts een taakdefinitie. Het proces verloopt in drie hoofdfasen:

1. Taak-informeerde Keyword-Generatie

Om een uitgebreide kennisbasis te creëren zonder vooraf bestaande data, gebruikt het framework een drie-staps proces:

• Initiële Zaden: Op basis van een taakdefinitie ($T_{desc}$) genereert een LLM een eerste set kernwoorden.
• Bi-directionele Expansie: Het systeem breidt deze set iteratief uit in twee richtingen:
  • Prerequisite-concepten: Fundamentele concepten die nodig zijn voordat men de huidige termen begrijpt.
  • Geavanceerde concepten: Gespecialiseerde subvelden en expert-niveau onderwerpen die voortbouwen op de huidige kennis.
  • Dit gebeurt via in-context learning met willekeurig geselecteerde keywords uit de huidige pool om convergentie naar een beperkt onderwerp te voorkomen.
• Retrieval-Augmented Extraction: Om hallucinaties te verminderen en de diepgang te vergroten, worden documenten opgehaald uit een divers corpus (de "Pile", inclusief ArXiv, Wikipedia, StackExchange, etc.). De LLM extrahert aanvullende, autoritaire keywords uit deze opgehaalde passages.

2. Instructie-Generatie op Cognitieve Niveaus

Om cognitieve diversiteit te garanderen en oppervlakkige vragen te vermijden, integreert het framework Bloom's Taxonomie. Instructies worden gegenereerd over zes cognitieve niveaus:

1. Remembering (Onthouden)
2. Understanding (Begrijpen)
3. Applying (Toepassen)
4. Analyzing (Analyseren)
5. Evaluating (Evalueren)
6. Creating (Creëren)

Het systeem combineert gegenereerde keywords met deze cognitieve niveaus. Er worden zowel instructies gegenereerd op basis van één keyword (voor conceptuele meesterschap) als op basis van paren van keywords (voor relationeel redeneren).

3. Zelfconsistentie-filtering (Self-Consistency Filtering)

Om de kwaliteit van de gegenereerde data te waarborgen, wordt een filtermechanisme toegepast:

• Voor elke gegenereerde instructie worden $N$ onafhankelijke antwoorden gegenereerd door de LLM.
• De antwoorden worden geëvalueerd op consistentie (voting).
• Instructies waarbij de antwoorden sterk uiteenlopen (wat wijst op ambiguïteit of een slechte formulering) worden verwijderd.
• Alleen instructies met een hoge mate van overeenstemming in de antwoorden worden behouden voor de finale dataset.

Belangrijkste Bijdragen

1. Zero-Shot Framework: Een methode die domeinspecifieke instructiedata genereert zonder menselijke supervisie, seed-voorbeelden of gespecialiseerde corpora.
2. Cognitieve Diversiteit: Het aantonen dat het integreren van Bloom's Taxonomie de redeneerprestaties van modellen verbetert door instructies te variëren van basis tot complex creatief denken.
3. Superieure Prestaties: Uitgebreide evaluaties tonen aan dat modellen die zijn getraind op deze gegenereerde data aanzienlijk beter presteren dan modellen getraind met bestaande synthetische methoden.

Resultaten en Evaluatie

Het framework werd getest op zeven uitdagende domeinen: Financiën (CFA), Biomedische Wetenschappen (PubMedQA, MedQA), Wetenschap (GPQA), Logisch Redeneren (LogiQA) en Wiskunde (GSM8K, MATH).

• Prestaties: Modellen (Llama3-8B, Mistral-7B, Qwen2.5-7B) die werden fine-getuned op DS2-INSTRUCT-data, behaalden consistent de beste resultaten op alle benchmarks.
  • Bijvoorbeeld: Voor Mistral-7B steeg het gemiddelde resultaat van 9,70% (zero-shot) naar 37,83%.
  • Voor Llama3-8B steeg het gemiddelde van 14,34% naar 42,83%.
• Data-kwaliteit: Statistische analyse toonde aan dat DS2-INSTRUCT een veel grotere diversiteit aan werkwoord-bijvoeglijk naamwoord-paren genereerde vergeleken met methoden zoals "Domain-Aware Self-Instruct", wat wijst op minder overfitting en meer linguïstische rijkdom.
• Ablatiestudies: Experimenten bevestigden dat elk component essentieel is:
  • Het verwijderen van bi-directionele expansie of retrieval-augmentatie leidde tot lagere scores.
  • Het weglaten van cognitieve niveaus (Bloom's Taxonomie) resulteerde in slechtere prestaties.
  • Zelfconsistentie-filtering was cruciaal voor het behoud van hoge datakwaliteit.

Betekenis en Conclusie

DS2-INSTRUCT biedt een schaalbare, kostenefficiënte oplossing voor het overbruggen van de "domein-kloof" in LLM's. Door volledig te vertrouwen op taakdefinities en geautomatiseerde validatie, elimineert het de afhankelijkheid van dure menselijke annotatie en gesloten datasets.

De studie onderstreept dat systematische diversiteit in cognitieve complexiteit (via Bloom's Taxonomie) en strikte kwaliteitscontrole (via zelfconsistentie) fundamenteel zijn voor het trainen van robuuste domeinspecifieke modellen. Dit maakt de technologie toegankelijker voor niche-domeinen waar tot nu toe geen adequate trainingsdata beschikbaar was.