MoRFI: Monotonic Sparse Autoencoder Feature Identification

1. Probleemstelling

Grote Taalmodellen (LLM's) verwerven feitelijke kennis voornamelijk tijdens het pre-training. Echter, latere post-training-fasen, zoals Supervised Fine-Tuning (SFT) op nieuwe data, introduceren vaak hallucinaties. De heersende hypothese is dat het blootstellen van modellen aan feiten die onbekend zijn voor hun pre-training-verdeling, hun vermogen om opgeslagen parametrische kennis op te halen, verstoort.

Hoewel eerdere studies hebben vastgesteld dat fine-tuning op onbekende data de hallucinatiepercentages verhoogt, blijven de interne mechanistische oorzaken slecht begrepen. Specifiek is het onduidelijk:

• Welke specifieke latente kenmerken in de residual stream causaal verbonden zijn met de verslechtering van kennisopvraging.
• Of deze kenmerken geïdentificeerd en gemanipuleerd kunnen worden om de oorspronkelijke kennis van het model te herstellen zonder hertraining.
• Hoe deze mechanismen verschillen tussen modelarchitecturen en trainingsduur.

2. Methodologie: MoRFI

De auteurs stellen MoRFI (Monotonic Relationship Feature Identification) voor, een tweestapsproces ontworpen om causale latente kenmerken te isoleren met behulp van Sparse Autoencoders (SAE's).

A. Gecontroleerd Fine-Tuning Experiment

De auteurs voeren een gecontroleerd experiment uit over drie modellen: Llama 3.1 8B, Gemma 2 9B en Mistral 7B v03.

• Dataset: EntityQuestions (afgeleid van Wikidata).
• Variabelen:
  1. Onbekend Aandeel ($\uparrow$Unknown): Trainingsdatasets worden geconstrueerd met variërende percentages (0% tot 100%) van "Onbekende" feiten (feiten die het basismodel niet kent), gemengd met "Bekende" feiten.
  2. Trainingsperioden ($\uparrow$Epochs): Modellen worden getraind voor variërende duur (Early Stop, 10, 20, 30, 40, 50 epochs).
• Observatie: Naarmate het aandeel onbekende feiten en het aantal trainingsperioden toeneemt, daalt de testnauwkeurigheid bij gesloten-boek QA aanzienlijk, wat het hallucinatiefenomeen bevestigt.

B. Het MoRFI-algoritme

MoRFI analyseert SAE-activaties over een 4D-tensor (Samples $\times$ Properties $\times$ Latents $\times$ Tijd/Epochs) om kenmerken te vinden met robuuste monotone trends.

1. Herverdeling en Aggregatie: Gebruikt bootstrapping om duizenden gesimuleerde testomgevingen te genereren, waarbij gemiddelde activaties worden berekend om een ruisreducerende basislijn te creëren.
2. Trendvalidatie: Past Spearman rangcorrelatie en Mann-Kendall-tests toe om te verifiëren of de activatie van een kenmerk monotoon verandert (consistent toenemend of afnemend) naarmate het aandeel onbekende data of trainingsperioden toeneemt. Dit filtert schijnbare fluctuaties eruit.
3. Directionele Sortering: Classificeert kenmerken in Toenemende (activaties groeien met onbekende data) en Afnemende (activaties krimpen) sets.
4. Eindranking: Rangschikt kenmerken op basis van hun frequentie van voorkomen in de top-$K$ veranderde kenmerken over alle bootstrap-replicaten.

C. Actiesturing

Zodra kandidaat-latenten zijn geïdentificeerd, voeren de auteurs actiesturing uit (ingrijpen in het midden van de residual stream) om causaliteit te testen:

• Interventie: Het toevoegen of aftrekken van de SDE-decoder-vector van een specifieke latent uit de residual stream.
• Doel: Om te zien of het sturen van deze latenten de nauwkeurigheid die verloren is gegaan tijdens fine-tuning op onbekende feiten, kan herstellen.
• Controlegroep: Een basislijn van "niet-trendende" latenten wordt gebruikt om ervoor te zorgen dat winsten geen artefacten zijn van willekeurige verstoring.

3. Belangrijkste Bijdragen

1. MoRFI-algoritme: Een algemeen toepasbare, statistisch rigoureuze methode voor het identificeren van SAE-latenten die monotone trends vertonen onder gecontroleerde fine-tuning-omstandigheden, en ze onderscheidt van tijdelijke ruis.
2. Causaal Verband met Hallucinaties: Het paper toont aan dat blootstelling aan onbekende feiten kennisopvraging verstoort langs specifieke, identificeerbare richtingen in de residual stream.
3. Kennisherstel via Sturing: De auteurs tonen aan dat interventies met een enkele latent 69–85% van de kennis die verloren is gegaan tijdens fine-tuning op onbekende data, kunnen herstellen, waardoor hallucinaties effectief tijdens inferentie worden omgekeerd.
4. Asymmetrie in Latente Dynamiek:
   • Negatieve Sturing is Superieur: Het onderdrukken (negatief sturen) van kenmerken die toenemen met onbekende data levert grotere nauwkeurigheidswinsten op dan het versterken van kenmerken die afnemen.
   • Afnemende Latenten zijn Impactvol: Kenmerken die van nature afnemen bij blootstelling aan onbekende data, herstellen bij positieve sturing ook aanzienlijke kennis, wat suggereert dat ze toegangspaden naar opgeslagen kennis coderen die worden onderdrukt.

4. Belangrijkste Resultaten

• Prestatieverslechtering: Het verhogen van het percentage onbekende feiten in de trainingsmix verslechtert consistent de modelprestaties, waarbij het effect wordt verergerd door langere training (meer epochs).
• Sturingseffectiviteit:
  • Bij Llama 3.1 8B herstelde de best negatief gestuurde latent 33,4% relatieve nauwkeurigheid (tegenover een basislijn van 17,8%).
  • Bij Mistral 7B herstelde de best negatief gestuurde latent 39,77% relatieve nauwkeurigheid.
  • Controlegroep: Sturing met niet-trendende latenten resulteerde in verwaarloosbare of negatieve prestatieveranderingen, wat valideert dat de winsten specifiek zijn voor de geïdentificeerde causale kenmerken.
• Kennisherstelpercentage ($R_K$): Van de feiten die door sturing werden hersteld, waren 69–85% oorspronkelijk bekend bij het basismodel (MD0). Dit bevestigt dat de interventie de toegang tot pre-getrainde kennis herstelt in plaats van nieuwe feiten te leren.
• Verspreid Signaal: Interventies met een enkele latent presteerden beter dan sturing met de samengestelde "verschil-in-gemiddelden"-richting ($\delta_u$). Dit geeft aan dat het kennisrelevante signaal verspreid is en geconcentreerd in een paar specifieke latenten, terwijl de samengestelde richting ruis bevat die het effect verdund.
• Semantische Uitlijning: De herstelde feiten hebben voornamelijk betrekking op geografische predicaten (bijv. Land, Hoofdstad, Land van Oorsprong), en de best presterende latenten tonen semantische uitlijning met deze concepten in externe tools zoals Neuronpedia.

5. Betekenis en Implicaties

• Mechanistische Interpretatieerbaarheid: Het paper gaat verder dan correlatie om een causaal verband vast te stellen tussen specifieke SAE-latenten en het vermogen van het model om toegang te krijgen tot opgeslagen kennis. Het suggereert dat "vergeten" tijdens fine-tuning geen uitwissing van kennis is, maar een verstoring van toegangspaden.
• Mitigatie tijdens Inferentie: De bevindingen suggereren dat hallucinaties veroorzaakt door fine-tuning tijdens inferentie kunnen worden gemitigeerd door gerichte actiesturing, zonder de noodzaak van hertraining of complexe retrieval-augmented generation (RAG)-systemen.
• Veiligheid en Uitlijning: Door de specifieke "misaligned" of "kennisverstorende" kenmerken te identificeren, biedt dit werk een pad voor veiligere fine-tuning-praktijken en gerichte interventies om te voorkomen dat modellen hallucineren bij blootstelling aan nieuwe of tegenstrijdige informatie.
• Generaliseerbaarheid: Het MoRFI-kader is modelonafhankelijk en toepasbaar op elke gecontroleerde variabele die een reeks modelcheckpoints induceert, en biedt een nieuw hulpmiddel voor het analyseren van veranderingen in modelgedrag.

Concluderend biedt MoRFI een robuuste methode om de interne mechanismen van kennisdegradatie in LLM's te pinpointen en toont het aan dat deze degradaties omkeerbaar zijn door middel van precieze, single-latent-interventies, wat een veelbelovende weg biedt voor het verminderen van hallucinaties in post-getrainde modellen.