Technische Samenvatting: Het interpreteren van Black-Box Large Language Models met Sentence-Level Energy Landscapes

Probleemstelling

De brede adoptie van propriëtaire Large Language Models (LLMs) die uitsluitend via gesloten API's toegankelijk zijn, heeft een kritieke barrière gecreëerd voor verantwoorde implementatie: een fundamenteel gebrek aan interpreteerbaarheid. Hoewel white-box interpreteerbaarheidsmethoden (bijv. gradiënt-gebaseerde attributie, aandachtsvisualisatie) bestaan, zijn deze incompatibel met gesloten systemen. Bovendien worstelen standaard model-agnostische post-hoc attributietechnieken met generatieve modellen vanwege de hoogdimensionele, interactieve aard van tekstoutputs en de slecht gestelde aard van het verklaren van generatie. Bestaande alternatieven, zoals prompt-gebaseerde zelfverklaring (bijv. Chain-of-Thought), lijden vaak aan circulaire logica en produceren ongetrouwe confabulaties in plaats van werkelijke interne computationele paden te onthullen. De kernuitdaging is om te identificeren welke specifieke delen van een gebruikersprompt de drijfveer zijn voor een specifieke subset van de output van een LLM, zonder toegang te hebben tot de interne gewichten of gradiënten van het model.

Methodologie

De auteurs stellen ESCI voor (Energy-Based Concept-Level Surrogate Interpreter), een model-agnostisch, post-hoc attribuutiekader dat opereert op het zinsniveau (sentence level) in plaats van op het tokenniveau. De methodologie bestaat uit twee primaire stadia:

1. Abstractie op zinsniveau

Het kader behandelt zinnen als "concepten"—de kleinste linguïstische eenheden die een volledige propositie uitdrukken. Inputprompts ($x$) en LLM-responsen ($y$) worden gesegmenteerd in zinnen en geëmbedd met behulp van een bevroren, vooraf getraind Sentence-BERT model. Dit verschuift de analyse van ruisgevoelige tokens naar coherente semantische eenheden, wat aansluit bij het "Contextprincipe" waarbij individuele tokens semantisch ambigu zijn zonder propositionele structuur.

2. De Energie-gebaseerde Surrogaat (EBM)

Om het gedrag van de black-box LLM te benaderen, trainen de auteurs een transformer-gebaseerd Energy-Based Model (EBM), aangeduid als $E_{LM}(x, y; \theta)$.

• Architectuur: De EBM verwerkt zinsembeddingen via een "conceptruimte"-projectie (met behulp van self-attention) en een input-output interactiemodule (met behulp van cross-attention). Het geeft een scalaire energiewaarde terug die de compatibiliteit tussen een prompt en een respons representeert.
• Trainingsdoelstellingen: De EBM wordt getraind met een duale doelstelling contrastieve loss:
  • Fidelity ($L_{fidelity}$): Een InfoNCE loss die authentieke prompt-respons paren onderscheidt van globale negatieven (bijv. menselijke antwoorden of outputs van andere LM's) om de globale generatiehandtekening van de doel-LLM te vangen.
  • Lokale Afhankelijkheid ($L_{dep}$): Een loss die lokale causale precisie afdwingt door partiële prompts te contrasteren met mismatchende partiële responsen (en vice versa), waardoor het model specifieke input-output afhankelijkheden leert in plaats van oppervlakkige artefacten.
• Surrogaatrol: De EBM fungeert als een differentieerbare surrogaat die de vorm van het generatie-manifold van de doel-LLM leert. Lage energie duidt op een hoge consistentie met de conceptuele interacties van het doelmodel.

3. Het Interpreter Netwerk

Een lichtgewicht interpreter netwerk, $I_N(x, y_T; \alpha)$, wordt getraind om de subset van promptzinnen ($x_S$) te identificeren die het meest invloedrijk zijn bij het genereren van een door de gebruiker gespecificeerde doel-outputsubset ($y_T$).

• Mechanisme: De interpreter neemt de prompt, de volledige respons en de doelsubset als input. Het produceert een ijle (sparse), binaire belangrijkheidsvector.
• Training via Alternerende Optimalisatie: De interpreter wordt getraind om het energieverschil te maximaliseren tussen de geselecteerde promptsubset (die een lage energie zou moeten opleveren wanneer gekoppeld aan de doelsubset) en de niet-geselecteerde rest (die een hoge energie zou moeten opleveren). Om distributieverschuivingen veroorzaakt door masking van inputs te voorkomen, hanteert het kader alternerende optimalisatie: de interpreter wordt bijgewerkt, en periodiek wordt de EBM bijgetraind met verse prompt-respons paren gegenereerd door de doel-LLM op basis van de huidige selecties van de interpreter.
• Inference: Eenmaal getraind, opereert de interpreter als een op zichzelf staand hulpmiddel. Het vereist nul aanvullende API-queries naar de doel-LLM tijdens de inference, wat het zeer schaalbaar maakt.

Belangrijkste Bijdragen

1. Attributie op conceptniveau: Dit werk verschuift de eenheid van analyse van tokens naar zinnen, wat menselijk begrijpelijke attributie mogelijk maakt die outputelementen direct relateert aan gebruikersprompt-concepten.
2. Transformer-gebaseerde EBM Surrogaat: De auteurs introduceren een nieuwe EBM-architectuur met specifieke samplingmethoden om een surrogaat willekeurig veld over prompts en responsen te leren. Deze aanpak modelleert authentieke input-output dynamiek zonder de noodzaak van genormaliseerde waarschijnlijkheidsverdelingen over enorme outputruimtes.
3. Model-agnostisch Kader: Het voorgestelde kader biedt een post-hoc interpreter voor black-box LLM's die specifieke promptzinnen identificeert die verantwoordelijk zijn voor het triggeren van doeloutputs, onafhankelijk van de interne architectuur van het doelmodel.

Experimentele Resultaten

Het kader werd geëvalueerd op de HC3 multi-domein Q&A dataset, waarbij GPT-4o-Mini als de doel black-box LLM werd gebruikt.

• Ablatiestudie: De duale doelstelling EBM ($M_{Hybrid}$) presteerde beter dan single-objective varianten. Het bereikte superieure Directive Localization (het isoleren van de primaire query uit ruis), Semantic Robustness (het negeren van conversationele fillers), Oracle Alignment (rangschikkingconsistentie met state-of-the-art modellen zoals Gemini-2.5-Flash) en Causal Disentanglement (het onderscheiden van ware antecedenten van distractoren).
• Attributie Plausibiliteit: In vergelijking met vijf LLM "oracles" (inclusief GPT-4o en GPT-J-6B) toonde ESCI een competitieve uitlijning. Opvallend genoeg produceerde ESCI ijle, zelfverzekerde attributiescores die noodzakelijke afhankelijkheden effectief isoleerden, terwijl instructie-getunede oracles vaak diffuse verdelingen produceerden. In kwalitatieve casestudies slaagde ESCI er succesvol in om stilistische drijfveren (bijv. "Leg uit alsof ik vijf ben") te ontwarren van semantische inhoud, een capaciteit waar andere oracles soms tekortschoten.
• Causale Getrouwheid: Gebruikmakend van metrieken voor Generatieve Sufficiëntie (kan het doel geregenereerd worden met enkel de geselecteerde zinnen?) en Generatieve Omvattendheid (gaat het doel verloren wanneer de geselecteerde zinnen worden verwijderd?), bereikte ESCI een positieve Faithfulness Gap die vergelijkbaar is met sterke baselines zoals GPT-4o en sentence-level LIME.
• Schaalbaarheid: Een cruciale bevinding is de computationele efficiëntie. Waar LIME tientallen API-queries per prompt vereist voor perturbatie-gebaseerde analyse, werkt ESCI met een $O(1)$ inference tijd met nul extra API-calls. Het kader bereikt het break-even punt in API-kosten na het interpreteren van ongeveer 400 prompts, wat een schaalbare weg biedt voor high-volume deployment.

Betekenis en Claims

Het artikel claimt dat ESCI energie-gebaseerde surrogaten vestigt als een schaalbare weg voor het diagnosticeren van modelgedrag in black-box settings. Door generatie-dynamiek te modelleren als een differentieerbaar energielandschap, maakt het kader de training van een op zichzelf staande interpreter mogelijk die geen verdere interactie met de doel-LLM vereist na de pre-training fase.

De auteurs positioneren dit werk als een oplossing voor de opaciteit van propriëtaire LLM's in sectoren met hoge belangen. Ze argumenteren dat door globale generatiepatronen te vangen en de incident-specifieke biases te mitigeren door middel van globale training, het kader een robuuste, concept-gebaseerde verklaring biedt die zowel computationeel efficiënt als causaal getrouw is.

Erkende Beperkingen:
Het artikel erkent op bescheiden wijze enkele beperkingen:

• Trainingsoverhead: Het kader verlegt de computationele last naar de pre-training fase, wat taakspecifieke training en hyperparameter tuning vereist, wat de out-of-the-box generaliseerbaarheid beperkt.
• Gebrek aan Ground Truth: Als black-box setting berust validatie op probabilistische oracles in plaats van deterministische ground truth (bijv. interne gradiënten van open-weights modellen).
• Scope: De huidige validatie is beperkt tot Q&A taken met compacte surrogaatmodellen; prestaties op complexe redenering of massieve contextvensters moeten nog worden geverifieerd.
• Menselijk Nut: Hoewel causale getrouwheid gekwantificeerd is, vereist het praktische nut voor menselijke audit-taken (bijv. detectie van bias) verdere subjectieve studies.