Auditing Framing-Sensitive Behavioral Instability in Large Language Models for Mental Health Interactions

Technische Samenvatting: Het Auditeren van Framing-gevoelige Gedragsinstabiliteit in Large Language Models voor Mentale Gezondheidsinteracties

Probleemstelling
Large Language Models (LLMs) worden steeds vaker ingezet in ondersteuning bij mentale gezondheid en andere psychologisch gevoelige conversationele toepassingen. In deze contexten met een hoge inzet zijn gedragsstabiliteit en consistentie cruciaal voor het vertrouwen en de veiligheid van de gebruiker. Gebruikers uiten echter vaak vergelijkbare onderliggende behoeften via zeer verschillende contextuele framings (bijv. het framen van onzekerheid als een documentatieprobleem versus een institutionele verantwoordelijkheid). Hoewel eerder onderzoek heeft vastgesteld dat afgestemde (aligned) LLM's gevoelig zijn voor prompt-framing — waarbij ze fenomenen vertonen zoals sycophantie en contextafhankelijke veiligheidsgedragingen — is er een aanzienlijke kloof in het begrip van hoe deze framing-effecten zich manifesteren binnen de interne representatieve structuur van modellen. Specifiek blijft het onduidelijk of door framing geïnduceerde variaties in gedrag louter oppervlakkige paraphrasering-artefacten zijn, of dat ze overeenkomen met systematische verschillen in de interne verborgen-toestand-representaties gekoppeld aan interpretatieve respons-tendensen.

Methodologie
De auteurs stellen een gecontroleerd gematcht-prompt-framework voor om het effect van contextuele framing te isoleren van semantische intentie.

• Dataset Constructie: De studie maakt gebruik van 653 gematchte promptgroepen, die telkens opnieuw zijn geschreven over vijf verschillende, niet-adversariële framing-condities: Documentatie (formele rapportage), Epistemisch (interpretatie/onzekerheidsresolutie), Institutioneel (organisatorische beperkingen), Aansprakelijkheid (risico/verantwoordelijkheid) en Rol-gebaseerd (ondersteunende begeleiding). De onderliggende semantische intentie blijft constant over deze varianten.
• Geëvalueerde Modellen: Het framework werd toegepast op meerdere instructie-afgestemde transformer-families van variërende architecturen en schalen, waaronder Qwen (0.5B, 1.5B), Gemma (2B, 9B), Mistral-7B, en Phi (3.5, 4-mini).
• Gedragsannotatie: Responsies werden geannoteerd in vier categorieën variërend van "Zwak/Niet-betrokken" tot "Geëscaleerde Interpretatie", waarbij de focus ligt op de mate van interpretatieve escalatie en ondersteuningskalibratie in plaats van feitelijke juistheid.
• Analyse van Interne Representatie:
  • Laag-specifieke Probing: Logistische regressie-probes werden getraind op verborgen-toestand-activaties uit elke transformer-laag om respons-categorieën te voorspellen. Dit omvatte held-out framing probes (getraind op vier framing-typen, getest op het vijfde) om de generalisatie buiten specifieke lexicale templates te beoordelen.
  • Controles: Prestaties werden afgezet tegen random-label controles en TF-IDF lexicale baselines om onderscheid te maken tussen oppervlakkige woordkenmerken en diepere representatieve signalen.
  • Activatie-sturing (Steering): Met behulp van Contrastive Activation Addition (CAA) extraheerden de auteurs sturingsrichtingen uit het verschil tussen "beheerste-ondersteunende" en "hogere-interpretatieve" toestanden. Deze richtingen werden afgetrokken van de verborgen toestanden tijdens inferentie om te testen of het moduleren van interne representaties de downstream gedragsuitkomsten causaal kon veranderen.

Belangrijkste Resultaten

• Gedragsmodulatie: Contextuele framing verandert systematisch de interpretatieve respons-tendensen over alle geteste architecturen heen. Documentatie-framing produceerde consequent de hoogste percentages interpretatieve escalatie (bijv. bereikend tot 0.63 in Gemma-9B), terwijl Institutionele framing de neiging had om escalatie te stabiliseren of te onderdrukken. Deze verschuivingen vonden plaats ondanks identieke onderliggende semantische intenties.
• Representatieve Decodeerbaarheid: Gedrag-geassocieerde informatie is decodeerbaar uit de verborgen toestanden door de diepte van de transformer heen.
  • Held-out Generalisatie: Probes getraind op specifieke framing-condities bleven consistent boven toeval (gebalanceerde accuratesse ~0.72–0.83) wanneer ze werden getest op ongeziene framing-categorieën, wat suggereert dat gedrag-geassocieerde signalen gedeeltelijk generaliseren buiten exacte trainings-templates.
  • Lexicaal versus Representatief: Hoewel TF-IDF lexicale baselines een hogere absolute accuratesse bereikten (0.89–0.94), wat wijst op een sterke bijdrage van oppervlakkige contextuele kenmerken, suggereert de prestatie van de held-out probes boven toeval dat het signaal niet volledig reduceerbaar is tot lexicale matching.
  • Diepteverdeling: De decodeerbaarheid van framing-signalen is verdeeld over meerdere transformer-lagen in plaats van beperkt te zijn tot een enkele "emergentie"-laag, hoewel de stabiliteit en de magnitude van dit signaal variëren per architectuur.
• Interventie via Sturing: Experimenten met activatie-sturing toonden aan dat framing-geassocieerde representatieve richtingen de downstream respons-tendensen gedeeltelijk kunnen moduleren. Matige sturingssterkte verminderde de interpretatieve routing-percentages in verschillende modellen (met name Mistral-7B en Qwen-1.5B) zonder catastrofale degradatie van de responskwaliteit te veroorzaken. De effecten waren echter niet-lineair en architectuur-afhankelijk, waarbij sommige modellen rebound-effecten vertoonden bij hogere sturingssterktes.

Betekenis en Claims
Het artikel betoogt dat framing-robuustheid een cruciale, maar vaak over het hoofd geziene dimensie is van betrouwbare AI-evaluatie, met name voor interacties rond mentale gezondheid. De bevindingen geven aan dat:

1. Consistentie is niet gegarandeerd: Semantisch vergelijkbare zorgen kunnen systematisch verschillende interpretatieve gedragingen oproepen op basis van louter de contextuele framing, wat de verwachtingen van gebruikers over systeembetrouwbaarheid uitdaagt.
2. Interne Mechanismen: Deze gedragsinstabiliteiten worden weerspiegeld in de interne representatieve organisatie van modellen, en niet alleen in oppervlakkige variaties in de output.
3. Gedeeltelijke Controleerbaarheid: Hoewel activatie-sturing voorlopig bewijs levert dat deze tendensen beïnvloedbaar zijn, suggereert het niet-lineaire en architectuur-specifieke karakter van de effecten dat gedrags-kalibratie een gedistribueerd fenomeen is in plaats van een eenvoudige lineaire beleidsstaat.

De auteurs concluderen dat het auditeren van gedragsstabiliteit tegen contextuele variatie essentieel is voor de inzet van conversationele AI in gevoelige domeinen. Zij positioneren dit werk als een stap naar het ontwikkelen van transparantere en gedragsmatig beter gekalibreerde systemen, waarbij zij benadrukken dat toekomstig onderzoek moet onderzoeken hoe deze framing-gevoeligheden de langetermijnvertrouwen en de afhankelijkheid van gebruikers in real-world settings beïnvloeden.