Technische Samenvatting: Concept Tokens

Probleemstelling

Grote taalmodellen (LLM's) vertrouwen doorgaans op subwoord- of volledige woordtokens die vaak polyseem zijn en niet overeenkomen met goed gevormde, discrete concepten. Hoewel conceptuele betekenis meestal ontstaat door contextuele verwerking over Transformer-lagen heen, is er behoefte aan gestructureerde, interpreteerbare representaties in de embedding-ruimte die specifieke generatiegedragingen kunnen induceren zonder het hele model opnieuw te trainen. Bestaande methoden zoals soft prompting (bijv. P-tuning) optimaliseren continue vectoren voor specifieke taken, en mechanistische interpreteerbaarheid (bijv. SAE's) extraheert latente richtingen, maar er blijft een kloof bestaan in het leren van compacte gedragsrepresentaties direct uit natuurlijke taaldefinities van een concept. Bovits zijn educatieve toepassingen en privacygevoelige contexten vaak afhankelijk van on-premise implementatie van kleinere modellen, die moeite kunnen hebben met het opvolgen van uitgebreide of genuanceerde instructies die enkel in het contextvenster worden aangeboden.

Methodologie: Concept Tokens

De auteurs stellen Concept Tokens voor, een lichtgewicht methode om een nieuw speciaal token toe te voegen aan de vocabulaire van een vooraf getraind LLM en de embedding ervan te leren uitsluitend op basis van meerdere natuurlijke taaldefinities van een doelconcept.

Kernmechanisme:

1. Constructie van een Definitie-corpus: Een set definities ($D_c$) voor een doelconcept $c$ wordt verzameld. Elke definitie bevat ten minste één expliciete vermelding van het concept.
2. Instantiatie: Elke vermelding van het concept $c$ in het corpus wordt vervangen door een nieuw speciaal token $t_c$, waardoor een geïnstancieerd corpus $D_c(t_c)$ ontstaat.
3. Optimalisatie: Het vooraf getrainde LLM wordt bevroren gehouden. Alleen de embeddingvector $e_c$ die overeenkomt met het nieuwe token $t_c$ wordt geoptimaliseerd. De optimalisatie minimaliseert de standaard cross-entropy loss voor de taalmodelleringsoefening (het voorspellen van het volgende token) op het geïnstancieerde corpus.
4. Inferentie: Het geleerde token $t_c$ wordt in prompts ingevoegd. Het kan directioneel worden gebruikt: het bevestigen van het token stimuleert gedrag dat geassocieerd wordt met het concept, terwijl het ontkennen ervan (bijv. "Genereer geen $t_c$") dat gedrag ontmoedigt.

Theoretische Basis:
De methode gaat ervan uit dat door de loss over meerdere definities te minimaliseren, de embedding $e_c$ een gegeneraliseerde representatie leert die voldoet aan de concurrerende beperkingen die door de definities worden opgelegd. In tegen tegenstelling tot "geheugentokens" (die een enkele sequentie memoriseren), leren concept tokens een semantische attractor die de essentie van het concept vangt in plaats van een verliesloze reconstructie van specifieke tekst.

Experimentele Evaluatie

De auteurs evalueren Concept Tokens in drie verschillende settings met behulp van een 4-bit gekwantiseerd Llama 3.1 8B Instruct model:

1. Hallucinatiecontrole in Closed-Book QA

• Setup: Een definitie-corpus dat "hallucinaties" beschrijft werd gegenereerd en gebruikt om een concept token te trainen. Het model werd getest op HotpotQA (1.000 instanties) onder drie condities: het token ontkend, het token bevestigd, en geen instructie. Baselines omvatten expliciete tekstvermeldingen en het verstrekken van het volledige definitie-corpus in de context.
• Resultaten:
  • Directioneel Effect: Het ontkennen van het token verminderde de hallucinatiecijfers vergeleken met de baseline, terwijl het bevestigen ervan de hallucinaties verhoogde.
  • Precisie vs. Onthouding: De reductie in hallucinaties werd primair bereikt door een verhoging van de mate van onthouding (het weigeren om te antwoorden) in plaats van een verbetering van de precisie van de pogingen tot antwoorden. De precisie bleef ongeveer constant over de ontkende interventies heen.
  • Vergelijking: Het concept token presteerde vergelijkbaar met de "definities-corpus in-context" baseline op geaggregeerde metrieken, maar vertoonde verschillende gedragingen per instantie (lage overeenkomst, $\kappa=0.35$).

2. Induceren van Recasting bij Tweede Talenonderwijs

• Setup: Het model werd getraind om "recasting" toe te passen (impliciet de fout van een leerling corrigeren terwijl de betekenis behouden blijft) met behulp van een synthetisch definitie-corpus. De taak omvatte een conversationele tutoringscenario met studentenantwoorden die fouten bevatten.
• Resultaten:
  • Gedragssturing: Het bevestigen van het token verhoogde de recasting-cijfers aanzienlijk (62,33%) vergeleken met de baseline (23,26%) en de expliciete tekstvermelding (16,74%). Het ontkennen van het token onderdrukte recasting.
  • Instructie-naleving: Cruciaal is dat de concept token methode beter in staat was om de naleving van andere instructies (bijv. het stellen van vervolgvragen) te behouden vergeleken met de "definities-corpus in-context" baseline. De in-context baseline bereikte hoge recasting-cijfers (93,95%) maar faalde vaak in het stellen van vervolgvragen of paste correcties mechanisch toe, terwijl de concept token een 98,04% vervolgvraag-rate behield.

3. Kwalitatieve Analyse: Reële vs. Fictieve Concepten

• Setup: Concept tokens werden getraind voor de Eiffeltoren (een bekend concept) en een fictieve Austral Tower (een synthetisch concept met een gefabriceerd Wikipedia-artikel).
• Resultaten:
  • Eiffeltoren: Het token activeerde effectief de bestaande latente representatie, wat leidde tot nauwkeurige feitelijke herinnering, samenvatting en analogisch redeneren.
  • Austral Tower: Het token ving een coherent hoog niveau van semantisch thema op (een monumentale toren in Montevideo) en generaliseerde naar creatieve taken. Het slaagde er echter niet in om betrouwbaar specifieke nieuwe feitelijke details (bijv. data, hoogtes) op te slaan of op te halen, en hallucineerde vaak plausibele maar onjuiste waarden. Dit suggereert dat concept tokens fungeren als semantische attractoren in plaats van betrouwbare opslagmechanismen voor nieuwe feiten.

Belangrijkste Bijdragen

1. Nieuw Mechanisme: Introductie van Concept Tokens als een methode om concepten te internaliseren vanuit enkel definitie-supervisie zonder gedragsexemplen of volledige model fine-tuning.
2. Directionele Controle: Demonstratie dat geleerde embeddings directioneel kunnen worden gebruikt (bevestigd vs. ontkend) om het gedrag van bevroren LLM's te sturen.
3. Efficiëntie en Naleving: Bewijs dat concept tokens een compact controlesignaal bieden dat doelgedragingen induceert terwijl de naleving van andere prompt-instructies beter wordt behouden vergeleken met het verstrekken van volledige definitieve contexten.
4. Identificatie van Beperkingen: Verduidelijking dat hoewel concept tokens semantische en gedragseigenschappen vangen, ze geen betrouwbare mechanismen zijn voor het coderen van fijnmazige, nieuwe feitelijke details.

Betekenis en Claims

Het artikel claimt dat Concept Tokens een compact controlesignaal bieden dat geleerd is uit definities en dat gedrag in bevroren LLM's kan sturen. De auteurs benadrukken dat deze aanpak bijzonder relevant is voor educatieve toepassingen en scenario's die on-premise implementatie van kleinere modellen vereisen, waarbij de contextlengte beperkt is en dataprivacy van groot belang is.

De auteurs kaderen de bevindingen bescheiden:

• De methode slaagt er succesvol in om gedragsverschuivingen te induceren die geassocieerd worden met het begrijpen van een concept.
• Het biedt een afweging: hoewel in-context definities een gedrag sterker kunnen afdwingen, kunnen ze de prestaties op andere instructies verslechteren; concept tokens bieden een meer gebalanceerde aanpak.
• De methode is geen oplossing voor "hallucinatievrije" generatie in de zin van het verbeteren van de precisie van antwoorden, maar eerder een hulpmiddel om de bereidheid om te antwoorden te moduleren (het verhogen van onthouding).
• De geleerde embeddings vangen semantische attractoren, maar fungeren niet als een database voor nieuwe feitelijke informatie.

Het werk suggereert toekomstige richtingen voor het analyseren van hoe het ontwerp van het definitie-corpus het gedrag beïnvloedt, het onderzoeken van de interne activatieveranderingen die door deze tokens worden geïnduceerd (mogelijk via Sparse Autoencoders), en het verkennen van de compositie van meerdere concept tokens.