🤖 machine learning

A Probe Direction Is a Property of Its Prompt

Dit artikel toont aan dat probe direction scores, die worden gebruikt om te detecteren of modellen evaluatie waarnemen, primair worden bepaald door de specifieke keuze van de prompt in plaats door het model zelf, wat single-prompt ontwerpen ongeldig maakt voor het vergelijken van modellen en multi-prompt methodologieën noodzakelijk maakt voor betrouwbare meting.

Oorspronkelijke auteurs: Valentin Noël

Gepubliceerd 2026-08-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Valentin Noël

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren het verschil te zien tussen een serieus examen en een informeel praatje. Je wilt weten of de robot "weet" dat hij wordt getest, want als dat zo is, kan hij proberen anders te reageren om er goed uit te zien. Wetenschappers proberen in de hersenen van de robot te kijken (specifiek naar de elektrische signalen) om te zien of hij een geheime "ik word bekeken"-schakelaar heeft. Ze gebruiken hiervoor een speciaal hulpmiddel: een "probe". Denk aan deze probe als een metaaldetector: je zwaait hem over de hersenen van de robot, en als hij piept, denk je: "Aha! Hij weet dat hij getest wordt!"

Maar dit is het lastige deel: om de metaaldetector te gebruiken, moet je precies bepalen naar welk soort "piepje" je luistert. Je moet een specifieke zin schrijven om de robot te vertellen: "Hé, je bent in een examen!" en een andere zin om te zeggen: "Hé, je bent gewoon aan het kletsen." De wetenschappers vergelijken dan de hersensignalen van de robot voor deze twee zinnen. De grote vraag is: zegt de "piep" ons iets over de hersenen van de robot, of zegt het simpelweg iets over de specifieke zinnen die de wetenschapper heeft geschreven?

Dit artikel is als een detectivespel waarbij een onderzoeker, Valentin Noel, besluit de metaaldetector zelf te testen. Hij stelt een simpele maar gevaarlijke vraag: "Wat gebeurt er als ik de woorden die ik gebruik om dezelfde vraag aan de robot te stellen, verander?" Hij verandert niet de robot, niet de testvragen en niet de hersensignalen waar hij naar kijkt. Hij verandert alleen de "wrapper"-tekst — de kleine instructies die de situatie inkaderen.

De resultaten zijn een beetje alsof je ontdekt dat je metaaldetector eigenlijk een ring is die reageert op de kleur van de doos waar hij in zit, in plaats van op de schat erin. Het artikel laat zien dat de "score" die wetenschappers gebruiken om te zeggen dat een robot zich bewust is van het feit dat hij getest wordt, bijna volledig wordt bepaald door de specifieke woorden die de onderzoeker heeft gekozen om te schrijven. Sterker nog, door simpelweg één zin voor een andere te vervangen, kon de onderzoeker de score laten stijgen, dalen of zelfs doen omslaan van positief naar negatief.

Om dit te visualiseren, stel je een groep vrienden van verschillende lengtes voor. Je wilt zien of langere vrienden beter kunnen springen. Maar in plaats van alleen hun sprong te meten, vraag je hen te springen terwijl ze verschillende gekleurde hoeden dragen. Als je hen vraagt te springen terwijl ze een "Rode Hoed van Ernst" dragen, springen de lange vrienden misschien hoger. Maar als je hen vraft te springen terwijl ze een "Blauwe Hoed van Chill" dragen, springen de korte vrienden misschien hoger. Als je alleen naar de resultaten van de "Rode Hoed" kijkt, zou je concluderen dat lange mensen beter kunnen springen. Als je alleen naar de resultaten van de "Blauwe Hoet" kijkt, zou je concluderen dat korte mensen beter kunnen springen. Het artikel laat zien dat de huidige wetenschappelijke methode is alsof je altijd naar slechts één kleur hoed kijkt en dan beweert dat het een feit is over de mensen, terwijl het eigenlijk een feit is over de hoed.

De auteur testte dit door 36 verschillende combinaties van "examen"-zinnen en "praatjes"-zinnen te maken. Hij liet dezelfde robots door al deze combinaties gaan. Het resultaat was schokkend: dezelfde robots konden als "zeer bewust" of "totaal niet bewust" worden gerangschikt, afhankelijk van de gebruikte zinspaar. In sommige gevallen was de correlatie tussen de grootte van de robot en zijn "bewustzijnsscore" een sterk positief getal (grotere robots = meer bewust). In andere gevallen, bij het gebruik van een andere zin, sloeg de correlatie om naar een sterk negatief getal (grotere robots = minder bewust). Beiden waren exact dezelfde resultaten van exact dezelfde robots, met exact dezelfde wiskunde, maar met andere woorden.

Het artikel controleert ook of de robots daadwerkelijk de test detecteren of dat de test de meettool juist voor de gek houdt. Ze ontdekten dat het "bewustzijns"-signaal vaak slechts oppervlakkige aanwijzingen oppikt, zoals het feit dat examenvragen woorden als "keuze" en "antwoord" gebruiken, terwijl praatjes vragen woorden als "schrijven" en "bericht" gebruiken. De probe is zo goed in het herkennen van deze woordpatronen dat hij "bewustzijn" kan detecteren, zelfs wanneer het signaal volkomen willekeurig is.

Dus, wat betekent dit voor de toekomst? Het artikel suggereert dat we niet één enkele zin kunnen vertrouwen om te vertellen of een robot bewust is. Als we de waarheid willen weten, moeten we de robots testen met heel veel, heel veel verschillende zinnen en de resultaten middelen. De auteur berekent dat we ongeveer 9 verschillende zilstijlen nodig hebben om een betrouwbare meting te krijgen, terwijl de meeste studies momenteel slechts één stijl gebruiken. Tot die tijd zullen de scores die we in wetenschappelijke artikelen zien, minder gaan over de hersenen van de robots en meer over de keuze van de woordenschat van de onderzoekers. Het is een herinnering dat in de wetenschap de manier waarop je de vraag stelt, soms meer invloed heeft op het antwoord dan de vraag zelf.

Technische Samenvatting: "Een Probes-richting is een Eigenschap van de Prompt"

Probleemstelling
Recent werk in mechanistische interpreteerbaarheid heeft geprobeerd te detecteren of grote taalmodellen (LLM's) een intern "gevoel" hebben van het worden geëvalueerd. Het standaardinstrument voor deze detectie bestaat uit het contrasteren van modelactivaties op prompts die expliciet een evaluatie aankondigen tegenover prompts die een normale inzet simuleren. Het verschil in gemiddelde activaties levert een richting op in de activatieruimte, en de mate waarin gehouden data langs deze richting gescheiden kan worden, wordt gerapporteerd als een score. Deze scores worden vervolgens behandeld als intrinsieke eigenschappen van het model, gebruikt om "evaluatiebewustzijn" te correleren met de schaal van het model.

Het artikel identificeert een kritiek gebrek in deze methodologie: de definitie van "een prompt die een evaluatie aankondigt" is geen vaste parameter, maar een keuze uit een enorme familie van mogelijke bewoordingen. De methode biedt geen regel voor het selecteren van een specifieke formulering, maar de gerapporteerde score wordt behandeld als een stabiele eigenschap van het model. De centrale vraag is of de richting en de resulterende schalingstrends een reflectie zijn van de interne staat van het model of artefacten zijn van de specifieke promptconstructie van de experimentator.

Methodologie
De auteur hanteert een factorieel experimenteel ontwerp om de variantie te isoleren die toe te schrijven is aan de bewoording van de prompt ("wrappers") versus de identiteit van het model.

Ontwerp: Een $6 \times 6$ kruising van 6 evaluatieframing en 6 inzetframing, die een byte-identieke taaktekst inkapselen. Dit creëert 36 verschillende promptparen voor elk model.
Modellen: Tien instructie-afgestemde open-weight modellen uit vier families (Qwen2.5, Qwen3, OLMo-2, en anderen), variërend van 135M tot 7B parameters.
Metriek: De standaard statistiek uit het vakgebied, $\max_{\ell} |AUROC_{\ell} - 0.5|$ , berekend over laagactivaties.
Analyseframework: De studie past Generalisatietheorie (Cronbach et al., 1972) toe om de geobserveerde variantie te deconstrueren in componenten: model, prompt-wrapper, item en hun interacties. Dit behandelt de keuze van de prompt als een "facet" van het meetontwerp in plaats van een implementatiedetail.
Controles: De auteur past de controle-taakdiscipline van Hewitt & Liang (2019) toe op ongetrainde, zero-shot richtingen. Ze testen twee controles: (1) gelabelde-gepermuteerde richtingen (het randomiseren van de evaluatie/inzet-labels) en (2) richting-gerandomiseerde controles (isotrope vectoren die overeenkomen met de autocorrelatie van echte richtingen).
Reproduceerbaarheid: De studie heranalyseert artefacten van Chaudhary et al. (2025) en Manek (2026), die per-laag scores en richtingvectoren hebben vrijgegeven, waardoor exacte reconstructie van hun pipelines mogelijk is.

Belangrijkste Resultaten

Keuze van de Prompt Bepaalt de Conclusie: De keuze van de contrastieve wrapper bepaalt de teken en grootte van het schalingresultaat. Bij de Qwen2.5-ladder verschuift het variëren van enkel de inzetframing (terwijl de evaluatieframing constant blijft) de correlatie met de modelgrootte van $r = +0,94$ (positieve schaling) naar $r = -0,82$ (negatieve schaling). Twee gepubliceerde studies met tegenstrijdige bevindingen (de ene rapporteert positieve schaling, de andere negatieve) zijn beide reproduceerbaar vanuit een enkel experimenteel ontwerp, enkel door de bewoording van de prompt te wijzigen.
De Richting is een Eigenschap van de Prompt: Richtingen afgeleid van verschillende wrapperparen zijn slecht uitgelijnd (cosinusgelijkenis $\approx 0,37$ ), terwijl richtingen van hetzelfde wrapperpaar op disjuncte helften van items bijna identiek zijn (cosinus $\approx 0,9995$ ). De richting is effectief een eigenschap van de prompt, niet van het concept dat wordt geprobeerd.
Lage Generaliseerbaarheid: De analyse met generalisatietheorie laat zien dat het model zelf slechts 0,8% van de totale variantie verklaart. De dominante bron van variantie is de interactie tussen het model en de prompt-wrapper (13,4 keer groter dan de model-door-item interactie). Bijgevolg verbetert het middelen over meer evaluatie-items de betrouwbaarheid niet; alleen het middelen over veel meer prompts doet dat.
Oppervlaktevorm Confounding: De gehouden scoring-split is grotendeels scheidbaar van de oppervlaktevorm alleen (bag-of-words AUROC $\approx 0,993$ ). Een richting die geconstrueerd is om geen informatie over evaluatie te dragen (een inhoudsvrije controle), herstelt nog steeds 70%–116% van de gepubliceerde scores. In verschillende gevallen valt de gepubliceerde score onder de "vloer" die door deze inhoudsvrije controles is vastgesteld, wat aangeeft dat het signaal ononderscheidbaar is van ruis of oppervlakte-artefacten.
Implementatievrijheid: Niet-vermeldde pipelinekeuzes (bijv. tokenfiltering, newline-encoding, truncatie) verklaren 27,5% van de totale variantie, wat groter is dan het model-effect zelf.

Bijdragen

Methodologische Kritiek: Het artikel toont aan dat de "evaluatiebewustzijn"-statistiek geen robuuste eigenschap van het model is, maar een functie van het promptontwerp. Het laat zien dat het teken van de schaleringsrelatie willekeurig is op basis van de keuze van de onderzoeker voor de bewoording.
Variantie-deconstructie: Het kwantificeert de betrouwbaarheid van huidige probe-ontwerpen, waarbij wordt aangetoond dat het "object van meting" (het model) een verwaarloosbare bijdrage levert aan de geobserveerde variantie vergeleken met het "facet" van de prompt.
Heranalyse: Het biedt een gecorrigeerde heranalyse van twee prominente studies. De claim dat de statistiek voorspelbaar schaalt met het aantal parameters (Chaudhary et al., 2025) overleeft een vloercorrectie maar blijft kwetsbaar voor promptselectie. De claim dat de diepte van de pieklaag verschuift met schaal (Manek, 2026) wordt als "niet geïdentificeerd" beschouwd omdat de pieklaag een argmax is over een bijna vlakke curve, wat het onstabiel maakt over resamples.
Voorschrift: Het artikel betoogt dat een verdedigbare vergelijking vereist dat scores voor elke wrapper worden gerapporteerd, waarbij beide armen van het contrast worden gekruist, en dat content-vrije controle scores worden gerapporteerd. Het schat dat een verdedigbaar ontwerp ongeveer 9 verschillende wrappers vereist (veel meer dan de enkele prompt die momenteel wordt gebruikt) om een generalisatiecoëfficiënt van 0,80 te bereiken.

Betekenis en Claims
Het artikel concludeert dat een single-prompt ontwerp niet kan dienen voor vergelijking tussen modellen. De gerapporteerde statistiek is primair een eigenschap van de contrastieve prompt, niet van de interne representatie van het model van het worden geëvalueerd.

De auteur is expliciet over de reikwijdte van de claims:

Zij beweren niet dat modellen niet representeren dat ze worden geëvalueerd.
Zij beweren niet dat vorige auteurs te kwader trouw handelden of fouten maakten in hun gedrag.
Zij beweren wel dat de huidige instrumenten minder meten dan geclaimd en dat de variantie in de gerapporteerde getallen wordt gedomineerd door ontwerpkeuzes (prompts en implementatiedetails) in plaats van modelverschillen.

Het artikel stelt dat de huidige praktijk in het veld om een enkele prompt te gebruiken om conclusies over model schaal te trekken, methodologisch onjuist is omdat de "meting" wordt verward met de "stimulus". De betekenis ligt in het verschuiven van de bewijslast: toekomstige claims over modelbewustzijn moeten rekening houden met prompt-variantie als een primaire bron van onzekerheid, in plaats van de prompt te behanderen als een vast implementatiedetail.

Meer zoals dit