Technische Samenvatting: BOOST – Bilevel Optimalisatie van Synthetische Trajecten voor Multi-Turn LLM Fijne Afstelling

Probleemstelling

Grote Taalmodellen (LLMs) blinken uit in generatie op één beurt, maar worstelen met langdurige, multi-turn interacties (bijvoorbeeld onderhandelen, storingen opsporen) die planning over meerdere stappen vereisen, waarbij tussenliggende acties mogelijk geen directe beloningen opleveren. Hoewel offline Versterkend Leren (RL) een schaalbaar alternatief biedt voor online RL voor het fijne afstellen van LLM's op vooraf verzamelde trajecten, staat het voor een kritieke bottleneck: de schaarste en kwaliteit van multi-turn trajectgegevens.

Om de tekortkoming aan gegevens aan te pakken, vullen recente benaderingen trainingssets aan met synthetische trajecten gegenereerd door LLM's of simulators. Synthetische data is echter zeer heterogeen qua kwaliteit. Het naïef behandelen van alle trajecten (echt en synthetisch) als even informatief kan de prestaties verslechteren, aangezien kwalitatief slechte of misleidende synthetische trajecten het leersignaal kunnen domineren. Eerdere pogingen om dit te mitigeren, omvatten binaire filtering met sterkere "beoordelende" LLM's of expertkennisbanken, die potentieel nuttige signalen verwijderen en toegang vereisen tot modellen met hogere capaciteit. Er is behoefte aan een methode die synthetische data op trajectniveau continu kan herwegen zonder afhankelijk te zijn van externe beoordelaars, en zo effectief de diversiteit geboden door synthetische data afweegt tegen het risico van taakverschuiving.

Methodologie: BOOST

De auteurs stellen BOOST (Bilevel Optimalisatie van Synthetische Trajecten) voor, een raamwerk dat synthetische data integreert in multi-turn RL-fijne afstelling via een bilevel-optimalisatieproces.

Kernraamwerk

BOOST formuleert het leerproces als een bilevel-optimalisatieprobleem:

1. Binnenste Niveau: Traineert het LLM-beleid ($\pi_\theta$) en Q-waardefuncties op een gemengde dataset ($D_{mixed} = D_{real} \cup D_{synthetic}$) met behulp van een hergewogen verlies.
2. Buitenste Niveau: Optimaliseert een lichtgewicht herwegingskop ($w_\phi$) om continue scalair gewichten toe te kennen aan individuele trajecten. Het doel van het buitenste niveau is het verlies van het resulterende beleid op een vastgehouden echte validatieset ($D_{val}$) te minimaliseren.

In tegenstelling tot eerder werk dat grofkorrelige gegevensbronnen herweegt, werkt BOOST op trajectniveau, wat fijnkorrelige controle over datakwaliteit mogelijk maakt. De herwegingskop neemt een traject als invoer en geeft een gewicht $w_\phi(\tau)$ uit, dat via softmax over een minibatch wordt genormaliseerd om de bijdrage van het traject aan het trainingsverlies te moduleren.

Trainingsprocedure en Stabiliteit

Het trainingsalgoritme (Algoritme 1) maakt gebruik van drie belangrijke technische innovaties om stabiliteit en convergentie te waarborgen:

1. Alternerende Bevriezing van Updates: Bij elke iteratie wordt slechts één parametergroep (auxiliair beleid $\psi$, primair beleid $\theta$, of herwegingskop $\phi$) bijgewerkt terwijl de anderen bevroren blijven. Dit voorkomt conflicterende gradiëntsignalen.
2. Warm-Start Initialisatie: Het primaire beleid $\theta$ wordt bij het begin van elke buitenste iteratie opnieuw geïnitieerd vanuit het auxiliaire beleid $\psi$. Omdat $\psi$ het binnenste niveau-optimum volgt, biedt dit een warm start die de convergentie versnelt.
3. Asymmetrische Leertempo's: De beleidsparameters ($\theta, \psi$) gebruiken een aanzienlijk hoger leertempo dan de herwegingskop ($\phi$). Dit weerspiegelt de hiërarchische aard van het probleem, en zorgt ervoor dat het beleid een stabiele oplossing bereikt voordat de gewichten worden aangepast.

Theoretische Grondslag

De auteurs leiden een PAC-Bayesiaanse tijdbereik-begrenzing af om de aanpak te onderbouwen. De begrenzing onthult een driewegige afweging:

• Synthetische Data: Verhoogt de diversiteit en het effectieve steekproefgrootte, maar riskeert taakverschuiving (afwijking van de doel-taakverdeling).
• Focus op Hoge Kwaliteit: Het concentreren van gewicht op trajecten van hoge kwaliteit verbetert de empirische prestaties, maar vermindert de effectieve steekproefgrootte ($n_{eff}$), wat de complexiteitsstraf verhoogt.
• Rol van BOOST: Het raamwerk streeft naar een "bruikbaar middenregime", waarbij hoge gewichten worden toegekend aan synthetische trajecten die overeenkomen met de verdeling van echte data en validatiedoelstellingen, terwijl diegenen die ruis of taakverschuiving introduceren worden afgeboekt, alles terwijl voldoende effectieve steekproefgrootte voor generalisatie wordt behouden.

Belangrijkste Bijdragen

1. Bilevel Raamwerk voor Trajectherweging: De auteurs introduceren een principieel bilevel-optimalisatieraamwerk voor het herwegen van synthetische data in multi-turn RL-fijne afstelling. Ze concretiseren dit met een parameter-efficiënte herwegingskop die gezamenlijk wordt getraind met het basis-LLM en Q-functies via een volledig eerste-orde optimalisatieschema.
2. Theoretische Analyse: Ze leiden een PAC-Bayesiaanse begrenzing af voor prestaties onder trajectherweging, waarbij expliciet de afweging tussen datadiversiteit, taakverschuiving en effectieve steekproefgrootte wordt gekarakteriseerd.
3. Empirische Validatie: De methode wordt gevalideerd op drie multi-turn RL-benchmarks (20 Vragen, Autohandelaar Onderhandeling en WebShop) met behulp van twee RL-algoritmen (Monte Carlo Return en ILQL).

Resultaten

Experimenten tonen aan dat BOOST consequent beter presteert dan meerdere baselines, waaronder uniform datagebruik, naïeve synthetische aanvulling, en bilevel-herweging die alleen op echte data wordt toegepast.

• Prestatieverbeteringen: BOOST toont de grootste winst in regimes met weinig data. Bijvoorbeeld, in de 20 Vragen-taak onder de Monte Carlo Return-instelling verbeterde BOOST de prestaties met 242,6% ten opzichte van de beste vanille-baseline (3,46 versus 1,01). Bij Autohandelaar Onderhandeling verbeterde het met 31,7% (40,92 versus 31,08).
• Nuttigheid van Synthetische Data: Het naïef toevoegen van synthetische data schaarde vaak de prestaties (bijvoorbeeld in ILQL-instellingen presteerde ongewogen synthetische aanvulling in 4 van de 6 instellingen slechter dan vanille-training). BOOST slaagde erin synthetische data te benutten door alleen die trajecten op te wegen die overeenkwamen met de verdeling van echte data.
• Gewichtsanalyse:
  • De geleerde gewichten zijn niet-uniform en variëren per punt.
  • Synthetische punten met hoge gewichten zijn diegenen die het dichtst bij de offline-dataverdeling liggen in de inbeddingsruimte (negatieve correlatie tussen gewicht en afstand tot de dichtstbijzijnde offline buren).
  • Cruciaal is dat BOOST latente signalen herwint van offline punten die eerder onderschat waren. In de Autohandelaar-omgeving werden 36,2% van de offline punten die onder een alleen-offline doelstelling een laag gewicht kregen, gepromoveerd tot hoog gewicht toen synthetische data werd geïntroduceerd, wat wijst op een synergetische relatie tussen gegevensbronnen.

Betekenis en Beweringen

Het artikel beweert dat BOOST een praktische weg naar data-efficiënte multi-turn LLM-adaptatie vestigt. Door trajectniveau-gewichten te leren zonder externe beoordelaars, beheerst de methode de afweging tussen de diversiteit geboden door synthetische data en het risico van taakverschuiving.

De auteurs benadrukken dat hun aanpak:

• Geen toegang vereist tot een "beoordelend" model met hogere capaciteit.
• Werkt op een fijnkorrelig trajectniveau in plaats van op grofkorrelige gegevensbronnen.
• Effectief nuttige signalen herwint van zowel hoogwaardige synthetische data als eerder onderschatte offline data.

Het artikel sluit af met een bescheiden beperking: huidige herweging werkt op trajectniveau. Toekomstig werk zou fijnkorreligere herweging per tijdstap kunnen verkennen om nuttige signalen te herwinnen uit gedeeltelijk goede trajecten.