💬 NLP

ADAPT: Hybrid Prompt Optimization for LLM Feature Visualization

Deze paper introduceert ADAPT, een hybride methode die beam search en adaptieve gradiëntgestuurde mutatie combineert om de uitdagingen van feature visualisatie voor Large Language Models effectief aan te pakken en zo de interpretatie van geleerde kenmerken in activatieruimtes mogelijk maakt.

Oorspronkelijke auteurs: João N. Cardoso, Arlindo L. Oliveira, Bruno Martins

Gepubliceerd 2026-02-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: João N. Cardoso, Arlindo L. Oliveira, Bruno Martins

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat een grote taalmodel (zoals een slimme chatbot) een enorm, donker magazijn is. Binnenin dit magazijn zitten duizenden specifieke "schakelaars" of "knoppen" die we latents noemen. Elke knop is verantwoordelijk voor een heel specifiek idee, woord of concept (bijvoorbeeld "magnetisme", "Marvel-films" of het woordje "bit").

Het probleem? We weten niet precies welke knop wat doet. Als we op een knop drukken, zien we alleen dat het lichtje oplicht, maar we weten niet waarom. Om dit uit te vinden, moeten we de perfecte zin vinden die die specifieke knop zo hard mogelijk laat oplichten.

Dit is wat het papier ADAPT noemt: een slimme manier om die perfecte zinnen te vinden.

Hier is hoe het werkt, vertaald in alledaagse taal:

1. Het oude probleem: De zoektocht in het donker

Vroeger probeerden onderzoekers dit op twee manieren, maar beide hadden grote nadelen:

Manier A: De "Grote Database" (Dataset Search).
Dit is alsof je duizenden boeken doorzoekt om te zien welke zin een knop het beste activeert. Het werkt, maar het is extreem traag en duur. Alsof je een naald in een hooiberg zoekt door elke hooiberg van de wereld te doorzoeken.
Manier B: De "Gierige Gids" (GCG - Greedy Coordinate Gradient).
Dit is een algoritme dat probeert de zin te verbeteren door één woordje per keer te vervangen. Het kijkt naar een wiskundige "kaart" om te zien welke richting beter is.
- Het probleem: De kaart is vaak onbetrouwbaar (ruis). Het algoritme loopt vaak vast in een lokaal minimum.
- De analogie: Stel je voor dat je in een mistig berglandschap bent en je wilt de hoogste top vinden. De "Gierige Gids" kijkt alleen naar de grond direct onder zijn voeten en klimt de eerste heuvel op die hij ziet. Hij denkt: "Dit is de top!", terwijl er ergens verderop een veel hogere berg staat. Hij blijft steken in een klein heuveltje omdat hij niet durft te springen naar een andere plek.

2. De nieuwe oplossing: ADAPT (De Slimme Verkenner)

De auteurs van dit papier hebben ADAPT bedacht. Het is een hybride methode die de beste eigenschappen van verschillende strategieën combineert om de "mist" te doorbreken.

ADAPT werkt in drie slimme stappen:

Stap 1: De "Bundel-Start" (Beam Search Initialization)

In plaats van te beginnen met één willekeurige zin (of een zin die je zelf bedenkt), start ADAPT met veel verschillende zinnen tegelijk.

Analogie: In plaats van één persoon de berg op te sturen, stuur je een expeditiegroep van 30 mensen. Iedereen begint op een andere plek in het landschap. Zo vergroot je de kans dat iemand de juiste richting vindt, zelfs als de mist dik is.

Stap 2: De "Mix van Strategieën" (Hybrid Mutation)

Nu de groep op weg is, gebruiken ze twee manieren om de zinnen te verbeteren:

De Wiskundige Gids (Gradient-guided): Ze kijken naar de kaart om kleine, slimme aanpassingen te doen (zoals een woord vervangen).
De Creatieve Gok (Logit-swap): Soms negeren ze de kaart en proberen ze gewoon een ander woord dat het model zelf waarschijnlijk zou kiezen.

Analogie: Soms luisteren ze naar de GPS (de wiskunde), maar soms zeggen ze: "Wacht, laten we hier gewoon een afslag nemen die er leuk uitziet." Dit voorkomt dat ze vastlopen in een vallei.

Stap 3: De "Beschermde Groepen" (Diversity Preservation)

ADAPT zorgt ervoor dat de groepen niet te snel gaan "kloppen" (convergeren) naar één en dezelfde oplossing.

Analogie: Stel je voor dat de expeditieleden in groepjes werken. Als één groepje een goede weg vindt, mag het die niet direct aan iedereen doorgeven. Ze houden hun eigen route vast. Dit zorgt ervoor dat ze verschillende soorten oplossingen blijven vinden, in plaats van dat iedereen op hetzelfde kleine heuveltje blijft staan.

Waarom is dit belangrijk?

De auteurs hebben ADAPT getest op een modern taalmodel (Gemma 2). De resultaten waren indrukwekkend:

Het werkt beter: ADAPT vond in 70% van de gevallen een betere oplossing dan de oude methoden.
Het is betrouwbaarder: Waar de oude methoden soms faalden bij bepaalde lagen van het model, werkte ADAPT overal goed.
Het is begrijpelijk: De zinnen die ADAPT vond, waren niet zomaar "klets" (woorden die niets betekenen). Mensen die de zinnen beoordeelden, vonden dat ze echt het juiste concept beschreven.
- Voorbeeld: Voor een knop die gaat over "Marvel" en een knop die gaat over "magneten", vond ADAPT de zin "Stark magnet". Dit is perfect: het combineert Tony Stark (Marvel) en magneten in één zin.

Samenvatting in één zin

ADAPT is als een slimme expeditiegroep die niet blindelings de eerste heuvel beklimt, maar in plaats daarvan met meerdere teams verschillende routes probeert, wisselt tussen wiskundige berekeningen en creatieve gokken, en zo uiteindelijk de hoogste piek vindt waar de "geheime knoppen" van de AI het helderst oplichten.

Het bewijst dat we de innerlijke werking van AI niet hoeven te raden, maar dat we het systematisch kunnen blootleggen, mits we de juiste tools gebruiken.

Probleemstelling

Het begrijpen van welke kenmerken (features) worden gecodeerd door geleerde richtingen in de activatieruimte van Large Language Models (LLMs) is essentieel voor interpretabiliteit. De standaardaanpak hiervoor is het zoeken in datasets (dataset search), waarbij het model wordt uitgevoerd op een grote corpus om te zien welke invoer een specifieke latente richting maximaal activeert. Deze methote heeft echter beperkingen:

Computationele kosten: Het is duur om grote datasets te doorzoeken, vooral voor complexe sub-componenten zoals modelcircuits.
Dataset-beperkingen: Gezochte datasets zijn vaak kleiner dan het trainingsdataset, wat het aantal illustratieve voorbeelden beperkt.
Discrete aard van tekst: Bestaande methoden voor feature visualization (het optimaliseren van invoer om een doelrichting te activeren) zijn moeilijk toe te passen op tekst omdat tekst discreet is, wat directe gradient-based updates onmogelijk maakt.

Bestaande prompt-optimalisatietechnieken (zoals GCG, Beam Search of Evolutionary Prompt Optimization) zijn vaak niet ideaal voor dit domein omdat ze vastlopen in lokale minima of inefficiënt zijn voor individuele latente richtingen.

Methodologie: ADAPT

De auteurs introduceren ADAPT (Adaptive DynAmic Prompt Tuning), een hybride methode die is ontworpen om de valkuilen van bestaande technieken te overwinnen. ADAPT combineert beam-search initialisatie met adaptieve, gradient-gestuurde mutatie.

De architectuur van ADAPT bestaat uit drie hoofdblokken:

Beam-Search Initialisatie:
- In plaats van te starten met een willekeurige of gebruikersgedefinieerde prompt, start ADAPT met meerdere beams (parallelle zoekpaden).
- Het genereert kandidaten door waarschijnlijk volgend tokens toe te voegen (right-append) en voert ook 'middle-inserts' uit (het invoegen van tokens in het midden van de sequentie). Dit is cruciaal omdat SAE-activaties vaak afhankelijk zijn van de context links van het token, niet alleen van wat erachter komt.
- Dit zorgt voor een betere verkenning van de zoekruimte en vermindert het risico op vastlopen in suboptimale lokale minima.
Hybride Kandidaatgeneratie:
- Tijdens de optimalisatie wordt een adaptieve populatie van prompts onderhouden.
- Er worden twee mutatiemechanismen gecombineerd:
  - GCG-stijl swaps: Gebruikt een gradient-based schatting om tokens te vervangen (exploitatie).
  - Logit-swaps: Gebruikt de voorspelde waarschijnlijkheidsverdeling van het model zelf om tokens te vervangen (exploratie, zonder backpropagation).
- De keuze tussen deze mechanismen wordt adaptief gemaakt op basis van een door de gebruiker gespecificeerde waarschijnlijkheid.
Diversiteitsbehoudende Evaluatie en Selectie:
- ADAPT gebruikt een complex slotbeheersysteem met "gegarandeerde slots" (die de beste prompt van een specifieke groep behouden) en "vrije slots" (die worden toegewezen aan de beste kandidaten van alle groepen).
- Dit voorkomt dat de optimalisatie te snel convergeert naar kleine variaties van dezelfde prompt (premature convergence).
- Er wordt een fluency penalty (straf voor onleesbare tekst) toegepast die geleidelijk oploopt tijdens de iteraties. Dit zorgt ervoor dat de zoektocht eerst vrij is om hoge activaties te vinden, maar later gestuurd wordt naar leesbare, interpreteerbare prompts.

Belangrijkste Bijdragen

ADAPT Algorithm: Een nieuw algoritme dat de prestaties van bestaande baselines (GCG, BEAST, EPO) overtreft door beam-search initialisatie te combineren met gradient-gestuurde mutatie.
Robuste Evaluatie: De auteurs evalueren hun methode op Sparse Autoencoder (SAE) latente ruimtes van Gemma 2 2B. Ze introduceren nieuwe metrics gebaseerd op dataset-activatiestatistieken (zoals het activation ratio en activation rank) om verschillende technieken systematisch te vergelijken.
Analyse van Foutpatronen: Het paper analyseert waarom bestaande methoden falen, met name de slechte signaal-ruisverhouding van GCG-schattingen en de gevoeligheid voor initialisatie.
Rol van Fluency: Een diepgaande analyse van de impact van fluency penalties op de interpretbaarheid van de gegenereerde prompts.

Resultaten

De evaluatie werd uitgevoerd op 486 latente richtingen uit verschillende lagen van het Gemma 2 2B-model.

Prestaties: ADAPT presteert consistent beter dan alle andere methoden (GCG, BEAST, EPO) over alle lagen heen. ADAPT bereikt een hogere activatie dan GCG op 70,4% van de features (statistisch significant, $p < 10^{-28}$ ).
Robuustheid: Waar GCG goed presteert in lagere lagen maar achteruitgaat in hogere lagen, en BEAST juist beter is in hogere lagen, biedt ADAPT een stabiel prestatieprofiel door de hele diepte van het model.
Interpretbaarheid: Menselijke evaluatie toont aan dat er een sterke correlatie is tussen hoge activatie en menselijke interpretatie ( $r = 0.645$ ). ADAPT produceert aanzienlijk meer interpreteerbare prompts dan de baselines.
Foutanalyse:
- GCG heeft een lage signaal-ruisverhouding; veel goede kandidaten worden onderschat door de gradient-schatting.
- GCG is zeer gevoelig voor initialisatie en kan vastlopen in lokale minima afhankelijk van het startpunt.
- Beam Search (BEAST) mist de fijne afstemming die nodig is voor convergentie op specifieke patronen.

Betekenis en Conclusie

Het paper stelt vast dat feature visualization voor LLMs haalbaar is, maar dat dit specifieke ontwerp-aannames vereist die zijn afgestemd op de unieke uitdagingen van het domein (discrete optimalisatie, niet-orthogonale latente richtingen en een loss-landschap vol lokale minima).

ADAPT biedt een krachtig, schaalbaar instrument voor interpretabiliteitsonderzoek. Het maakt het mogelijk om betekenisvolle kenmerkenpatronen te ontdekken zonder de hoge kosten van exhaustieve dataset-zoekopdrachten. De methode is ook uitbreidbaar naar complexere doelen, zoals het visualiseren van circuits of meerdere latente richtingen tegelijkertijd, wat de weg vrijmaakt voor verdere onderzoeken in mechanistische interpretatie.