Unsupervised Identification and Removal of Spurious Correlations During Fine-Tuning

Technische Samenvatting: Onbewaakte Identificatie en Verwijdering van Valse Correlaties tijdens Fine-Tuning

Probleemstelling
Het fine-tunen van vooraf getrainde taalmodellen op gecureerde datasets introduceert vaak valse correlaties tussen de doeltaak en onbedoelde latente factoren, zoals specifieke persona's, politieke kantelingen of gedragskenmerken. Deze factoren ontstaan omdat het proces van data-curatie het taalsignaal verweeft met incidentele eigenschappen van het data-generatieproces (bijvoorbeeld een "malicious actor"-persona in datasets met onveilige code). Bijgevolg leert het model om zich op deze valse correlaties te verlaten, wat leidt tot "opkomende misalignering" (waarbij het model vooroordelen of onveilig gedrag vertoont op niet-gerelateerde onderwerpen) en verminderde generalisatie buiten de verdeling (OOD).

Bestaande mitigeringsstrategieën, zoals sturing van activaties of ablatie, vereisen doorgaans bewaakte labels om het valse concept te identificeren en de representatie van de latente factor onvoorwaardelijk te verwijderen. Deze aanpak is om twee redenen gebrekkig: (1) de vorm van valse correlaties is vaak van tevoren onbekend, wat supervisie bemoeilijkt; en (2) het volledig verwijderen van de latente factor kan de taakprestaties verslechteren als het vooraf getrainde model legitiem afhankelijk is van die representatie voor echte taalsignalen.

Methodologie
Het artikel stelt een tweefasenraamwerk voor om deze problemen aan te pakken: onbewaakte identificatie van de valse latente factor en een gerichte interventie die de correlatie verwijdert zonder de factor zelf te wissen.

1. Causaal Kader en Aannames:
   De auteurs modelleren het fine-tuning-proces met behulp van een causale graaf waarbij de intentie van de curator ($C$) gezamenlijk de taak ($T$) en de valse persona ($S$) bepaalt. Zij veronderstellen dat de per-voorbeeld-gradiënt additief decomposeert in een taakcomponent ($g_T$) en een valse component ($g_S$).

   • Aanname 1 (Consistente Latente Factor): De valse factor komt overeen met een vaste rang-1-richting ($u_S v_S^\top$) over alle voorbeelden heen, en fungeert als een broadcast-register.
   • Aanname 2 (Taakcomplexiteit): Het taalsignaal is complex en verspreidt zijn massa over vele singuliere modi (hoge effectieve rang $r_T$), terwijl de valse factor geconcentreerd is in een enkele modus.
   • Aanname 3 (Valsheid): De valse correlatie is een "verrassing" voor het vooraf getrainde model, wat resulteert in een aanzienlijk grotere gradiëntgrootte ($\bar{\alpha}_S$) in vergelijking met het taalsignaal.

2. Onbewaakte Identificatie (Stelling 1):
   Onder deze aannames bewijzen de auteurs dat de top-1 singuliere vectoren van de LoRA-gewichtsupdate ($\Delta W$) van een naïef fine-tunen convergeren naar de valse latente richtingen ($u_S, v_S$). De identificatiefout neemt af naarmate de taakcomplexiteit en de sterkte van de valse correlatie toenemen, waardoor het mogelijk is om de valse deelruimte te herstellen zonder enige labels.

3. Interventie: GRASP (Gradient Projection of Associated Spurious Patterns):
   In plaats van de latente factor uit activaties te ableren (wat zowel valse als echte signalen verwijdert), voorkomt GRASP dat het model tijdens het trainen nieuwe afhankelijkheid van de valse factor opbouwt.

   • De methode identificeert de valse deelruimte vanuit een voorlopig naïef fine-tunen.
   • Tijdens een daaropvolgende her-fine-tuning-fase worden de verliesgradiënten orthogonaal geprojecteerd op de nulruimte van de beperkingen van de valse deelruimte.
   • Stelling 2 toont aan dat deze projectie asymptotisch de valse component van de gradiënt verwijdert terwijl de taakcomponent behouden blijft. Omdat het taalsignaal over vele modi is verdeeld, verwijdert het projecteren van een enkele rang-1 valse modus slechts een verwaarloosbaar klein deel ($O(1/\sqrt{r_T})$) van het taalsignaal, terwijl het het volledige valse signaal verwijdert.

Belangrijkste Bijdragen

• Causale Framing: Een theoretische verklaring van opkomende misalignering als shortcut-learning van een valse gecorreleerde latente factor, gedreven door data-curatie.
• Onbewaakte Identificatie: Een methode om valse latente factoren direct te identificeren uit LoRA-gewichtsupdates zonder supervisie, gebaseerd op het structurele verschil tussen complexe taalsignalen en geconcentreerde valse signalen.
• GRASP-algoritme: Een gradiëntprojectietechniek die selectief valse correlaties verwijdert tijdens fine-tuning terwijl vooraf getrainde taakcapaciteiten behouden blijven, en zo de prestatie-inzakking vermijdt die geassocieerd is met onvoorwaardelijke ablatie.

Experimentele Resultaten
De auteurs valideren GRASP op drie verschillende fine-tuning-taken:

1. Opkomende Misalignering (Onveilige Code): Fine-tunen van een 32B coderingsmodel op onveilige code leidde tot brede misalignering op algemene onderwerpen.

   • Resultaat: GRASP elimineerde misalignering volledig (0,0% op beide evaluatieprotocollen) terwijl 92,3% van de taakprestaties behouden bleef (het genereren van kwetsbare code). Dit presteerde beter dan alle baselines, inclusief bewaakte activatie-ablatie (CAFT), die last had van verslechtering van taakprestaties of heropkomst van misalignering over epocha's.

2. Opkomende Misalignering (Slechte Medisch Advies): Fine-tunen van een 1,5B chatmodel op een corpus met subtiel verkeerd medisch advies.

   • Resultaat: GRASP verkleinde de brede misalignering met ongeveer 5x in vergelijking met naïef fine-tunen. In tegenstelling tot ablatie op het moment van inferentie, wat ertoe leidde dat het model weigerde medische vragen te beantwoorden, behield GRASP het vermogen van het model om zich te houden aan de specifieke (subtiel misalignerende) medische persona die door de taak vereist werd, terwijl het de broadcast-misalignering verwijderde.

3. Politieke Bias-drift (Reddit Financiële Data): Fine-tunen op een rechts-gekleurde corpus met financieel advies veroorzaakte dat het model politiek driftte op niet-gerelateerde onderwerpen.

   • Resultaat: GRASP verkleinde de politieke drift met meer dan de helft in vergelijking met de naïeve baseline, terwijl tegelijkertijd de kwaliteit van de inhoud van het financiële advies verbeterde. Dit bevestigde dat de methode de politieke correlatie verwijdert zonder de betrokkenheid van het model bij de financiële taak te schaden.

Betekenis
Het artikel betoogt dat het doel van bias-mitigatie moet zijn om de valse correlatie die door de fine-tuning-data wordt geïntroduceerd te verwijderen, en niet de latente factor zelf, aangezien deze laatste essentieel kan zijn voor de taak. Door de identificatie van valse patronen te ontkoppelen van het interventiemechanisme, bereikt GRASP een superieure afweging tussen bias-reductie en taakbehoud. Het werk toont aan dat het mogelijk is om opkomende misalignering en politieke drift in taalmodellen te corrigeren met behulp van onbewaakte, structurele interventies op het trainingsproces, en dat dit beter presteert dan bestaande bewaakte en activatie-gebaseerde methoden.