Technische Samenvatting: DUET – Optimalisatie van LLM-trainingdata-mengsels via Ruwe Feedback van Ongeziene Evaluatietaken

1. Probleemstelling

De prestaties van Large Language Models (LLM's) zijn sterk afhankelijk van de afstemming tussen het domein van de trainingsdata en de downstream-evaluatietaken. Echter, in veel praktische implementatiescenario's zijn de specifieke data-distributie, het domein of de labels van de evaluatietaken onbekend. Dit wordt het ongezien-evaluatietaken-systeem genoemd.

Veelvoorkomende voorbeelden zijn:

• End-to-end versleutelde conversaties: Eigenaren van LLM's hebben vanwege privacybeperkingen (bijvoorbeeld enterprise-privacybeleid) geen toegang tot de daadwerkelijke data van gebruikers-chatbot-conversaties, maar kunnen wel ruwe feedback waarnemen, zoals gebruikersbeoordelingen of sessieduur.
• Modelmarktplaatsen: Een model eigenaar verkoopt een model aan een consument die feedback geeft over de prestaties zonder de gevoelige evaluatiedata die door de consument wordt gebruikt, te delen.

In deze scenario's ontvangt de eigenaar alleen ruwe, ruisende feedback (bijvoorbeeld beoordelingen, tijd voor taakvoltooiing) in plaats van gedetailleerde data-informatie (gradienten, labels of distributies). Bestaande methoden voor data-menging (bijvoorbeeld DoReMi, BiMix) en data-selectietechnieken (bijvoorbeeld LESS, coresets) vereisen doorgaans toegang tot gedetailleerde evaluatiedata of gaan ervan uit dat de trainingsdistributie overeenkomt met de taakdistributie. Bijgevolg falen ze of presteren ze suboptimaal wanneer ze direct worden toegepast op scenario's waar de evaluatiedata ontoegankelijk is. De kernvraag is: Hoe kan men efficiënt het mengsel van LLM-trainingdata optimaliseren met behulp van slechts meerdere rondes van ruwe feedback van een ongeziene taak?

2. Methodologie: DUET

Het artikel stelt DUET voor (Optimalisatie van LLM-trainingdata-mengsels via Ruwe Feedback van Ongeziene Evaluatietaken), een nieuw globaal-naar-lokaal algoritme dat data-selectie afwisselt met Bayesiaanse Optimalisatie (BO).

2.1 Herparameterisatie van het Probleem

De auteurs herparameteriseren het optimalisatieprobleem. In plaats van direct te zoeken naar de optimale set datapunten $X^*$, zoeken ze naar de optimale mengverhouding $r \in \mathbb{R}^n$ over $n$ trainingsdatadomeinen. Het probleem wordt geformuleerd als een tweeledige optimalisatie:

• Bovenste Niveau (Globaal): Vind de optimale mengverhouding $r$ die het verlies van de ongeziene evaluatietaken minimaliseert.
• Onderste Niveau (Lokaal): Voor een gegeven verhouding $r$, vind de hoogwaardige subset van data $X \in S_r$ (waarbij $S_r$ de set data-mengsels is die voldoen aan verhouding $r$) die het verlies minimaliseert.

2.2 De Innerlijke Lus: Data-selectie

Om het interne probleem op te lossen, maakt DUET gebruik van een data-selectiestrategie om hoogwaardige datapunten uit elk domein op te halen volgens de voorgestelde verhouding $r$.

• Invloedsfuncties (IF): Het artikel maakt voornamelijk gebruik van Invloedsfuncties als selectiemechanisme. Voor elk domein wordt een aparte LLM fijngefineerd, en worden IF-scores berekend voor elk datapunt ten opzichte van een validatieset.
• IF-gewogen Steekproef: In plaats van uniforme willekeurige steekproeven, voert DUET gewogen steekproeven uit waarbij de kans op het selecteren van een datapunt evenredig is met zijn IF-score. Dit beïnvloedt de selectie ten gunste van datapunten die meer "invloedrijk" zijn in het verlagen van het modelverlies.
• Schatting: De oplossing van het interne probleem wordt geschat door een LLM te trainen op het geselecteerde mengsel en dit te evalueren op de ongeziene taak. De auteurs karakteriseren theoretisch de verdeling van deze schatter, en tonen aan dat IF-gedreven steekproeven de variantie en bias verminderen in vergelijking met uniforme willekeurige steekproeven.

2.3 De Buitenste Lus: Bayesiaanse Optimalisatie

De buitenste lus gebruikt Bayesiaanse Optimalisatie om de mengverhouding $r$ iteratief te verfijnen.

• Black-Box Doel: De functie $f(r)$ vertegenwoordigt het verlies van de ongeziene taak voor een gegeven verhouding $r$. Aangezien dit verlies wordt verkregen via de ruisende schatter van de innerlijke lus, wordt $f(r)$ behandeld als een black-box functie met ruisende waarnemingen.
• Gaussisch Proces (GP): DUET modelleert $f(r)$ met behulp van een GP-prior.
• Aanwervingsfunctie: Bij elke iteratie $t$ stelt DUET een nieuwe mengverhouding $r_t$ voor door de Lower Confidence Bound (LCB) aanwervingsfunctie te minimaliseren, waarmee exploratie en exploitatie in evenwicht worden gebracht.
• Feedbacklus: De voorgestelde verhouding $r_t$ wordt gebruikt om data te steekproeven, de LLM te trainen/fijn te fineren en de ruwe feedback te observeren. Deze waarneming wordt toegevoegd aan de geschiedenis om de GP-posterior te updaten, en het proces wordt herhaald voor $T$ iteraties.

2.4 Algorithmische Stroom

1. Initialisatie: Bereken IF-scores voor alle datapunten in trainingsdomeinen vooraf. Initialiseer BO met willekeurige data-mengsels.
2. Iteratie:
   • BO stelt een mengverhouding $r_t$ voor.
   • Voer IF-gewogen steekproeven uit om een data-mengsel $X_t$ te genereren dat voldoet aan $r_t$.
   • Fine-tune de LLM op $X_t$ en observeer de ruwe feedback (evaluatieverlies) van de ongeziene taak.
   • Update de GP-posterior met $(r_t, \text{feedback})$.
3. Beëindiging: Na $T$ iteraties, retourneer het best presterende data-mengsel dat is waargenomen.

3. Belangrijkste Bijdragen

1. Nieuwe Probleemstelling: Het artikel definieert een realistische setting waarbij evaluatiedata onbekend is (ongezien taak) maar ruwe, ruisende feedback beschikbaar is, wat het onderscheidt van standaard domeinadaptatie- of generalisatietaken.
2. DUET-algoritme: Introductie van een globaal-naar-lokaal raamwerk dat data-selectie (specifiek IF-gedreven steekproeven) afwisselt met Bayesiaanse Optimalisatie om data-mengsels te optimaliseren zonder gedetailleerde taakdata.
3. Theoretische Waarborgen: De auteurs bieden een theoretische analyse van de convergentie van DUET door de cumulatieve regret te begrenzen. Zij tonen aan dat DUET convergeert naar het optimale trainingsdata-mengsel, zelfs met ruwe feedback, mits het aantal BO-iteraties toeneemt.
4. Empirische Validatie: Uitgebreide experimenten tonen aan dat DUET betere prestaties levert dan bestaande data-menging (DoReMi, Aioli) en selectie (LESS) baselines in zowel in-domein als out-of-domein ongeziene taaksettings.

4. Experimentele Resultaten

De experimenten zijn uitgevoerd met Llama-3-8b-Instruct en Qwen2.5-7B-Instruct, fijngefineerd via PEFT (LoRA).

• Datasets: 9 trainingsdomeinen (bijvoorbeeld Wikitext, GSM8K, PubMedQA, TruthfulQA) en diverse ongeziene evaluatietaken (sommige in-domein, sommige out-of-domein).
• Baselines: Vergelijken met DoReMi, LESS, Aioli, Multi-fidelity BO en naïeve benaderingen (uniforme menging, willekeurig zoeken).
• Prestaties:
  • DUET behaalde consistent hogere prestatiescores op alle evaluatietaken in vergelijking met baselines.
  • Bij in-domein taken (bijvoorbeeld TruthfulQA) slaagde DUET erin het relevante trainingsdomein te identificeren en zwaar te wegen.
  • Bij out-of-domein taken (bijvoorbeeld GSM8K zonder GSM8K-trainingsdata) benutte DUET feedback effectief om relevante proxy-domeinen te vinden (bijvoorbeeld Wikitext, SciQ), en presteerde beter dan methoden die niet konden aanpassen aan de feedback.
• Ablatiestudies:
  • Data-selectie: DUET met IF-gedreven steekproeven (DUET-IF) presteerde beter dan DUET met uniforme willekeurige steekproeven (DUET-UR) en andere selectiemethoden zoals LESS en log-determinant.
  • Steekproefgrootte ($k$): Het verhogen van het aantal steekproeven $k$ in de innerlijke lus verbeterde de prestaties, hoewel $k=1$ voldoende was om baselines te verslaan.
  • Componenten: Zowel de BO-component als de data-selectiecomponent bleken noodzakelijk voor optimale prestaties.

5. Betekenis en Claims

Het artikel beweert dat DUET het eerste werk is dat data-selectie afwisselt met Bayesiaanse Optimalisatie om iteratief trainingsdata-mengsels te optimaliseren op basis van feedback van een ongeziene evaluatietaken.

• Praktische Relevantie: Het adresseert een kritieke kloof in de implementatie van LLM's waar privacy of data-eigendom toegang tot evaluatiedata verhindert, terwijl iteratieve verbetering gewenst is.
• Efficiëntie: Door het gebruik van BO is de methode steekproef-efficiënt en vereist minder rondes van training/fijn-fineren in vergelijking met brute-force enumeratie van data-mengsels.
• Flexibiliteit: Het raamwerk is flexibel genoeg om verschillende data-selectiemethoden (IF, LESS, coresets) te incorporeren, afhankelijk van het computatiebudget, hoewel IF in hun setting als het meest effectief wordt aangetoond.
• Theoretische Grondslag: De convergentieanalyse biedt een theoretische onderbouwing voor waarom het algoritme werkt ondanks de ruis en het gebrek aan gedetailleerde data.

De auteurs merken op dat, hoewel de huidige focus ligt op fijn-fineren, de aanpak theoretisch aanpasbaar is voor pre-training, hoewel zij niet claimen dat ze de optimalisatie van pre-training in dit werk hebben opgelost. Zij erkennen ook dat het berekenen van IF-scores computatie-intensief kan zijn, maar suggereren vooraf berekenen en surrogate-modellen als praktische mitigaties.