Technisch Overzicht: "Don't Say It!": Beperkingen, Naleving en Communicatie wanneer Taalmodellen Taboe Spelen

1. Probleemstelling

Het spel Taboe vereist dat een speler een doelwoord beschrijft zonder een specifieke set verboden woorden te gebruiken, waarbij gebruik wordt gemaakt van semantische associaties om een gokker te laten identificeren wat het doelwoord is. Deze taak vormt een unieke uitdaging voor Large Language Models (LLM's) omdat het de gelijktijdige bevrediging van twee concurrerende doelstellingen vereist:

1. Strikte Lexicale Beperkingen: Het model moet lexicaal en conceptueel saillante woorden (de verboden lijst) en hun morfologische varianten onderdrukken.
2. Communicatieve Effectiviteit: Het model moet een beschrijving genereren die voldoende informatief is om het doelconcept op te roepen bij een menselijke of machinale gokker.

Huidige benchmarks testen instructievolging vaak in isolatie. Dit paper onderzoekt of LLM's de afweging tussen regelnaleving en communicatieve bruikbaarheid kunnen navigeren in een setting die vraagt om "lexicale gronding onder beperking". De auteurs stellen specifiek de vraag of beschrijvingen gegenereerd onder beperking gedetailleerd genoeg zijn om nuttig te zijn en of de strategieën die modellen adopteren overeenkomen met menselijke cognitieve processen in het spel.

2. Methodologie

2.1. Data en Modellen

• Dataset: De studie maakt gebruik van 194 Italiaanse Taboe-kaarten die handmatig zijn overgeschreven van een fysiek bordspel. Elke kaart bevat een doelwoord en vijf verboden woorden.
• Modellen: Twee open-weight modellen werden geëvalueerd:
  • google/gemma-3-4b-it: Een lichtgewicht instructie-getunede model, gekozen vanwege de algemene prestaties en compatibiliteit met vooraf getrainde Sparse AutoEncoders (SAEs) voor interpreteerbaarheidsexperimenten.
  • openai/gpt-oss-20b: Een Mixture-of-Experts redeneermodel, post-getuned met Chain-of-Thought (CoT) reinforcement learning. Het werd zowel met als zonder expliciet redeneren geëvalueerd om de rol van deliberatie bij het naleven van beperkingen te beoordelen.

2.2. Experimentele Condities (Interventieniveaus)

De auteurs onderzochten drie verschillende niveaus van interventie om beperkingen af te dwingen:

1. Prompting (Instructieniveau): Het model krijgt via de gebruikersprompt de instructie om het doelwoord en de verboden lijst (inclusief morfologische derivaten) te vermijden. De prompt vraat expliciet om een beschrijving van minder dan 30 woorden zonder omliggende tekst.
2. Generatie-tijd Beperkingen (Decoding Niveau):
   • A Priori Stammen Censuur: Voordat de generatie begint, wordt een statische set verboden tokens berekend op basis van de stammen van de verboden woorden. De logits voor deze tokens worden bij elke decoding-stap gemaskeerd naar $-\infty$.
   • Inference-Time Beperkte Generatie: Een dynamische aanpak waarbij het model vrij genereert totdat een volledig woord dat overeenkomt met een verboden stam wordt gedetecteerd. De generatie gaat vervolgens terug (backtrack) naar het begin van het overtredende woord, dat wordt toegevoegd aan een persistente positie-niveau maskering, waarna de generatie wordt hervat met de onderdrukte token.
3. Model Manipulaties (Representatieniveau):
   • SAE Steering: Met behulp van Sparse AutoEncoders (SAEs) identificeerden de auteurs features in de residual stream (Laag 29) die het sterkst geassocieerd zijn met elk verboden woord. Tijdens de generatie werd een activatie-norm-geschaalde interventie toegepast om de residual stream weg te sturen van deze feature-richtingen, waardoor de onderliggende concepten werden onderdrukt zonder de modelgewichten aan te passen of expliciet verboden woorden in de prompt te noemen.

2.3. Evaluatiemetrieken

• Naleving (Compliance):
  • Accuratesse: Percentage outputs met nul overtredingen (letterlijk of morfologisch).
  • Type Overtredingen: Aandeel exacte overtredingen, morfologische overtredingen en "target leaks" (per ongeluk het doelwoord gebruiken).
  • Geen : De mate waarin het redeneerbudget van het GPT-model uitgeput raakt.
• Communicatieve Effectiviteit:
  • LLM-as-a-Judge: Twee modellen (Gemma en GPT) fungeerden als rechters, lazen de beschrijvingen en raadden het doelwoord. Effectiviteit werd gemeten door Pass@k (of het eerste token van het doelwoord in de top-k voorspellingen zit) en Ruwe token waarschijnlijkheid.
  • Menselijke Evaluatie: 8 annotators namen deel aan twee fasen:
    • Gokken: Annotators raadden doelwoorden op basis van door het model gegenereerde beschrijvingen.
    • Beschrijven: Annotators genereerden beschrijvingen onder "spontane" (mondelinge) en "doelgerichte" (geschreven) condities om als baseline voor modelprestaties te dienen.

3. Belangrijkste Resultaten

3.1. Naleving van Beperkingen

• Prompting: Verbeterde de naleving aanzienlijk ten opzichte van de onbeperkte baseline. Gemma-3-4b-it bereikte 91,2% accuratesse; GPT-oss-20b met redeneren bereikte 97,4%. Redeneren hielp GPT om letterlijke woorden te onderdrukken, maar was minder effectief tegen morfologische varianten.
• Beperkte Generatie: Bereikte bijna perfecte naleving. Gemma-3-4b-it bereikte 98,5% (a priori) en 96,4% (online). GPT-oss-20b met redeneren bereikte 92,3% (a priori) maar daalde naar 87,1% (online), met een hoger percentage "target word leaks".
• SAE Steering: Presteerde slecht op het gebied van naleving (55,7%), aanzienlijk lager dan prompting en beperkte generatie. Dit suggereert dat steering op representatieniveau alleen niet betrouwbaar genoeg is om oppervlakkige lexicale beperkingen af te dwingen.

3.2. Communicatieve Effectiviteit (Informativiteit)

• Trade-offs: De methode van het opleggen van de beperking vormde de kwaliteit van de beschrijving.
  • Prompting had de neiging om overdreven voorzichtige, informatieve arme beschrijvingen te produceren.
  • Beperkte Generatie dwong het model naar meer semantisch precieze parafrases, wat resulteerde in hogere Pass@10 scores voor de rechters vergeleken met prompting.
  • SAE Steering vertoonde een opvallende dissociatie: ondanks de lage naleving, produceerde het competitief informatieve beschrijvingen (Pass@10 tot 21,1%), wat suggereert dat het blokkeren van oppervlakkige tokens een descriptieve kost met zich meebrengt die de interventie op representatieniveau vermijdt.
• Gevoeligheid van de Rechter: De twee rechtermodellen verschilden aanzienlijk in gevoeligheid. GPT-oss-20b gaf een bijna nul-waarschijnlijkheid toe aan doelwoorden in de meeste condities, terwijl Gemma-3-4b-it vrijgeviger was, hoewel beide de relatieve ordening van methoden overeengekomen.

3.3. Model vs. Menselijke Prestaties

• Asymmetrie in Gokken: Modellen presteerden aanzienlijk slechter dan mensen als gokkers.
  • Menselijke annotators bereikten 30,77% accuratesse bij het raden van modelbeschrijvingen.
  • Modelrechters (zelfs Gemma-3-4b-it) hadden 5 tot 10 gokken nodig (Pass@5 tot Pass@10) om de accuratesse te benaderen die mensen bereikten met slechts 1 gok (Pass@1) op menselijke beschrijvingen.
  • GPT-oss-20b als rechter gaf bijna nul waarschijnlijkheid toe aan de correcte doelwoorden in bijna alle gevallen.
• Asymmetrie in Beschrijven:
  • Voor modellen verbeterde redeneren (CoT) de naleving aanzienlijk (72,2% vs 97,4% voor GPT).
  • Voor mensen leverden spontane mondelinge beschrijvingen een hogere gok-accuratesse op (95%) dan doelgerichte geschreven beschrijvingen (85%), waarschijnlijk door de interactieve, real-time verfijning die mogelijk is in mondelinge communicatie, wat statische tekstgeneratie mist.

4. Bijdragen en Betekenis

Belangrijkste Bijdragen

1. Multi-Level Constraint Framework: Het paper vergelijkt systematisch strategieën voor het afdwingen van beperkingen over drie niveaus van het generatieve proces: prompting, decoding-time masking, en interne representatie manipulatie (SAEs).
2. Bidirectionale Mens-Model Evaluatie: In tegen tegenstelling tot eerdere studies die vertrouwen op automatische metrieken, fundeert dit werk de evaluatie in daadwerkelijke gameplay door de rollen om te draaien: mensen raden modelbeschrijvingen, en modellen raden menselijke beschrijvingen.
3. Karakterisering van Trade-offs: De studie laat zien dat regelnaleving en communicatieve effectiviteit niet onafhankelijk van elkaar te controleren zijn. Het mechanisme dat wordt gebruikt om een beperking op te leggen (instructie vs. decoding vs. representatie) verandert fundamenteel de aard van de output, wat leidt tot verschillende trade-offs tussen veiligheid (vermijden van verboden woorden) en bruikbaarheid (oproepen van het doelwoord).

Betekenis en Claims

De auteurs stellen dat lexicale gronding onder beperking een openstaande uitdaging blijft voor huidige taalmodellen.

• De "Guessing Gap": Het onvermogen van modellen om doelwoorden te raden vanuit indirecte beschrijvingen met menselijke efficiëntie suggereert dat LLM's niet beschikken over hetzelfde netwerk van saillante lexicale associaties dat Taboe intuïtief maakt voor mensen. De auteurs suggereren dat dit wijst op een verschil tussen de snelle, associatieve "Systeem 1"-verwerking die mensen gebruiken en de doelgerichte "Systeem 2"-redenering van modellen.
• Beperkingen: De auteurs merken bescheiden op dat de benchmark momenteel alleen Italiaans is, de gedeelde evaluatieset klein is (10 woorden), en SAE steering alleen op één architectuur is getest. Ze benadrukken ook dat de studie een model evalueert in een single-turn setting, terwijl het originele spel inherent interactief is.
• Toekomstige Richting: Het paper betoogt dat spellen zoals Taboe een natuurlijke, onderbelichte testomgeving vormen voor de capaciteiten van taalmodellen, specifiek voor het onderzoeken van pragmatische adaptatie en collaboratieve gronding in multi-turn, multi-agent configuraties.