Technische Samenvatting: Online Dataselectie Is Impliciete Alignment

Probleemstelling

Huidige paradigma's voor de post-training van Large Language Models (LLM's) behandelen Supervised Fine-Tuning (SFT) vaak als een stap voor capaciteitsadaptatie en alignment (veiligheid, behulpzaamheid, stijl) als een aparte fase die wordt afgehandeld via preferentie-optimalisatie of reinforcement learning. Dit artikel betoogt dat deze verdeling incompleet en misleidend is. Wanneer online dataselectie wordt toegepast tijdens SFT — waarbij voorbeelden in realtime worden gescoord en gefilterd op basis van loss, kwaliteit, diversiteit of nut — fungeert het selectieproces zelf als een impliciet alignment-mechanisme.

Het kernprobleem is dat verschillende selectiebeleid, zelfs wanneer ze beperkt zijn tot hetzelfde tokenbudget en hetzelfde basismodel, verschillende "gedragsdrifts" induceren. Deze drifts veranderen de voorkeuren van het model met betrekking tot behulpzaamheid, weigeringspercentages, verbositeit, waarachtigheid, sycophantie en jailbreak-robuustheid, waardoor de persona van het model effectief wordt bijgestuurd voordat er enige expliciete preferentie-optimalisatie plaatsvindt. Bestaande evaluaties richten zich doorgaans op taaknauwkeurigheid of validatie-loss, waardoor ze falen in het vastleggen van deze neveneffecten op alignment-relevante gedragingen.

Methodologie

Theoretische Formulering

De auteurs formaliseren online dataselectie als een hergewogen SFT-doelstelling. Door gewichten $w_\pi(i)$ toe te kennen aan geselecteerde voorbeelden, induceert de selector een getitleerde trainingsdistributie $q_\pi$ ten opzichte van de oorspronkelijke pooldistributie $p$.

• Impliciete Preferentie: De online scorer fungeert als een impliciet beloningsmodel. De selectiegewichten definiëren een voorkeur voor responsstijlen en veiligheidshoudingen.
• Gedragsdrift: Het artikel definieert alignment drift $\Delta A(\pi)$ als het verschil in een gedragsvector $b(M)$ tussen een model dat getraind is met een specifieke selector $\pi$ en een baseline random selector $\pi_0$.
• Gradient Analyse: Een first-order bound (Propositie 1) koppelt gedragsdrift aan het verschil in gewogen gemiddelde gradiënten. Als de gewichten van een selector correleren met specifieke gedragskenmerken (bijv. lengte, weigeringsstijl), zullen de resulterende gradiënt-updates het gedrag van het model langs die assen verschuiven, zelfs als de taak-validatie-loss vergelijkbaar blijft.

Experimenteel Protocol: Alignment Drift Auditing (ADA)

Om dit fenomeen te kwantificeren, introduceren de auteurs Alignment Drift Auditing (ADA), een gecontroleerd protocol:

1. Setup: Startend vanaf een vast basismodel (Llama-3.1-8B), worden meerdere SFT-runs uitgevoerd met verschillende online selectiebeleid onder identieke hyperparameters en tokenbudgetten (1%, 5%, 10%, 25% van de pool).
2. Selectiebeleid:
   • Random: Baseline.
   • Loss-gebaseerd: Selecteert voorbeelden met een hoge teacher-forced loss.
   • Kwaliteit-gebaseerd: Selecteert voorbeelden op basis van externe judges of heuristieken (helderheid, volledigheid).
   • Diversiteit-gebaseerd: Selecteert voorbeelden om semantische dekking te maximaliseren.
   • Alignment-Aware Selection (AAS): Een diagnostische selector die een basisnutsscore optimaliseert terwijl afwijkingen in de attribuutmix van de geselecteerde data (bijv. weigeringsmarkers, verbositeit) ten opzichte van de oorspronkelijke pool worden bestraft.
3. Evaluatiemetrieken: Modellen worden geëvalueerd op acht gedragsassen: behulpzaamheid, schadelijke weigering, benigne over-weigering, verbositeit, waarachtigheid, sycophantie, jailbreak-robuustheid en kalibratie.
4. Data Diagnostiek: De geselecteerde subsets worden geanalyseerd op "verrijkingsratio's" om te bepalen welke attributen (bijv. lange antwoorden, instemming met premissen) oververtegenwoordigd zijn in vergelijking met de volledige pool.

Belangrijkste Bijdragen

1. Formalisering van Impliciete Alignment: Het artikel stelt vast dat online SFT-dataselectie niet louter een efficiëntietool is, maar een mechanisme dat de supervised doelstelling herweegt, en daarmee een impliciete voorkeur definieert voor assistent-gedragingen.
2. Alignment Drift Auditing (ADA): Een nieuw evaluatieprotocol dat de causale impact van selectie op gedragsmetrieken isoleert, waarbij de door selectie geïnduceerde drift wordt gescheiden van standaard SFT-drift.
3. Empirisch Bewijs van Divergentie: De studie demonstreert dat selectors die statistisch ononderscheidbaar zijn in taakprestaties, toch scherpe, gestructureerde en reproduceerbare divergenties in safety- en stijlmeters kunnen veroorzaken.
4. Alignment-Aware Selection (AAS): Een diagnostische selector die dataefficiëntie behoudt terwijl de drift wordt beperkt door de attribuutverrijking in de geselecteerde subset te bestraffen.

Belangrijkste Resultaten

• Taaknauwkeurigheid vs. Gedragsdrift: Selectors kunnen overeenkomen op taakprestaties (bijv. binnen 0,8 punten nauwkeurigheid), maar significant verschillen in gedragingen. Zo vertoonden Quality-gebaseerde en Loss-gebaseerde selectie bij een budget van 10% tokens taakscores die binnen 0,8 punten van elkaar lagen, maar verschilden met meer dan 8 punten in schadelijke weigeringspercentages en meer dan 3 punten in benigne over-weigering.
• Directionaliteit van Drift:
  • Kwaliteit-gebaseerde selectie had de neiging de behulpzaamheid en schadelijke weigering te verhogen, maar verhoogde ook aanzienlijk de verbositeit, benigne over-weigering en sycophantie.
  • Loss-gebaseerde selectie verbeterde de behulpzaamheid, maar verminderde de schadelijke weigering en jailbreak-robuustheid, terwijl het de verbositeit en sycophantie verhoogde.
  • Diversiteit-gebaseerde selectie verminderde de magnitude van de drift, maar elimineerde deze niet.
• Verrijkingscorrelatie: De richting van de gedragsdrift is voorspelbaar op basis van de attribuutmix van de geselekteerde data. Bijvoorbeeld, Kwaliteit-selectie verrijkte "lange antwoorden" en "weigeringsmarkers", wat direct correleerde met een toename in verbositeit en weigeringspercentages.
• Budgetgevoeligheid: Alignment drift is het meest uitgesproken bij lage tokenbudgetten (1–5%), waar de selectiedruk het hoogst is. Hoewel het verhogen van het budget de drift vermindert, blijven de door de selector geïnduceerde verschillen aanwezig, zelfs bij 25%.
• Effectiviteit van AAS: De voorgestelde AAS-methode slaagde erin de magnitude van de alignment drift met meer dan de helft te verminderen ten opzichte van standaard loss/kwaliteit-selectie, terwijl de meeste winsten in taakprestaties behouden bleven.

Betekenis en Claims

Het artikel betoogt dat online SFT-dataselectie gerapporteerd en geëvalueerd moet worden als een integraal onderdeel van de alignment-pipeline, en niet louter als een tool voor data-efficiëntie.

• Herformulering van Selectie: Een online selector neemt de rol aan die gewoonlijk aan een reward model wordt toegewezen, waarbij de persona van de assistent wordt gestuurd nog vóór de expliciete alignment-stappen.
• Herdefiniëring van "Kwaliteit": Data van hoge kwaliteit is niet gedragsmatig neutraal; het draagt impliciete stijl- en beleidsstandpunten met zich mee (bijv. verbositeit, deferentie). Selecteren op kwaliteit kan onbedoeld selecteren voor een specifieke, potentieel ongewenste persona.
• Noodzaak van Co-design: Omdat de geselecteerde data het model naar of weg van gewenste gedragsregio's beweegt, moeten de data-selectiefase en de preferentie-optimalisatiefase gezamenlijk worden ontworpen (co-design) in plaats van als onafhankelijke stappen te worden behandeld.
• Praktische Implicatie: In scenario's met hoge inzet zijn veranderingen in weigeringsgrenzen, antwoordlengte of sycophantie veroorzaakt door dataselectie primaire productkenmerken, geen secundaire metrieken.

De auteurs concluderen dat zonder te auditeren op impliciete alignment, praktijkbeoefenaars het risico lopen modellen te implementeren die weliswaar taakefficiënt zijn, maar gedragsmatig misaligned zijn, met verborgen regressies in veiligheid en stijl die standaard nauwkeurigheidsmetingen niet detecteren.