Technische Samenvatting: TREETRACER – Het onuitgesprokene blootleggen via Stochastische Padaggregatie

Probleemstelling

Large Language Models (LLM's) genereren tekst via stochastische processen, waarbij ze een waarschijnlijkheidsverdeling over mogelijke volgende tokens produceren in plaats van een enkele deterministische output. Huidige methoden voor bias-auditing kampen met aanzienlijke beperkingen in deze context:

• Onvoldoende waarde van enkelvoudige output: Standaard benaderingen vertrouwen vaak op het inspecteren van een enkele gegenereerde sequentie of statische geautomatiseerde metrieken (bijv. perplexiteit, BLEU). Deze methoden verhullen de onderliggende waarschijnlijkheidsverdelingen en slagen er niet in om biases te vangen die verborgen liggen in paden met een lagere waarschijnlijkheid.
• Beperkingen van statische sjablonen: Fundamentele bias-datasets maken vaak gebruik van rigide, vooraf gedefinieerde zinsjabloenen. Onderzoek wijst uit dat deze er niet in slagen de diversiteit van real-world contexten en syntactische variaties te vatten waar bias van nature manifesteert, wat vaak leidt tot het oproepen van standaard syntactische gedragingen in plaats van ware semantische associaties te onthullen.
• Schaalbaarheid van visualisatie: Bestaande visuele analytische tools voor tekstgeneratie (bijv. Beam Search Trees) hebben moeite om honderden complexe, stochastische generatiepaden te vatten in een gecondenseerd, leesbaar overzicht zonder structurele details of cognitieve helderheid te verliezen.

De kernuitdaging is het ontwikkelen van een methode die de generatie en semantische classificatie van diverse testgevallen automatiseert, terwijl het gebruikers in staat stelt om geaggregeerde waarschijnlijkheidsverdelingen visueel te analyseren om systemische representatieve schade te detecteren.

Methodologie: TREETRACER Pipeline

Het artikel introduceert TREETRACER, een visuele analytische benadering die ontworpen is om LLM-bias te evalueren door middel van geaggregeerde vergelijking. Het systeem maakt gebruik van een systematische perturbatie-pipeline bestaande uit zes computationele stappen:

1. Prompt Augmentatie en Ontologie-injectie:

   • Het systeem isoleert semantische variabelen in een basisprompt door een doel-token te vervangen door substituten afkomstig uit een semantische ontologie (bijv. "Mannelijke Namen" versus "Vrouwelijke Namen").
   • Ontologieën worden gegenereerd via ConceptNet (BFS-queries) of instructie-getunede LLM's.
   • Een Human-in-the-Loop mechanisme stelt gebruikers in staat om ontologieën te bewerken, te verwijderen of aan te passen om circulaire ambiguïteit te voorkomen en menselijke controle over analytische parameters te waarborgen.

2. Tekstgeneratie en Token-uitlijning:

   • Het systeem voert tekstgeneratie uit voor alle geaugmenteerde prompts via lokale inferentie of externe API's.
   • Het legt gegenereerde tekst, token-niveau waarschijnlijkheden en metadata vast.
   • Subword Token Merging: Om subword tokenizers (bijv. BPE) te verwerken, voegt de pipeline subword tokens samen tot hele woorden, waarbij het geometrisch gemiddelde van hun waarschijnlijkheden wordt berekend om te voorkomen dat langere woorden worden gestraft.

3. Constituency Parsing:

   • De gegenereerde outputs worden geparsed in constituency trees met behulp van de Stanza NLP library om een verenigde grammaticale representatie te creëren.
   • Een uitlijningsalgoritme brengt de part-of-speech tags van de parser terug naar de oorspronkelijke whitespace tokens om discrepanties in tokenisatie op te lossen.

4. Structurele Clustering:

   • Om visuele rommel aan te pakken, verwijdert het systeem de lexicale inhoud uit de bomen om "skeleton strings" (alleen structurele tags) te creëren.
   • Deze skeletten worden geclusterd met behulp van agglomeratieve clustering met Tree Edit Distance (TED) of heuristieken (Levenshtein, N-gram Jaccard).
   • Het systeem behoudt de top-$k$ meest frequente grammaticale structuren om een visuele ruggengraat te vormen, terwijl laagfrequente uitschieters worden verwijderd om de visuele helderheid te behouden. Een volledige set van alle zinnen wordt apart bewaard voor globale waarschijnlijkheidsberekeningen.

5. Semantische Classificatie:

   • In plaats van statische woordenboeken gebruikt het systeem een methode van LLM-ondersteunde Contextuele Classificatie. Een helper-LLM classificeert gefilterde trefwoorden (zelfstandige naamwoorden, bijvoeglijke naamwoorden, eigennamen) binnen de volledige zinscontext om polysemie te behandelen.
   • RAG-gebaseerde User Overrides: Gebruikers kunnen misclassificaties in de frontend handmatig corrigeren. Deze correcties worden opgeslagen en geïnjecteerd in de prompt van de helper-LLM voor daaropvolgende runs, wat zorgt voor een deterministische, door mensen geverifieerde classificatie.

6. Boomconstructie en Waarschijnlijkheidsmetrieken:

   • Nodes worden samengevoegd met behulp van een composiete sleutel van (token_tekst, semantische_categorie) om het samenvoegen van polyseme woorden te voorkomen.
   • Het systeem berekent twee verschillende waarschijnlijkheidsmetrieken voor visualisatie:
     • Geselecteerde Waarschijnlijkheid ($P_{selected}$): Het gemiddelde token-vertrouwen over de structureel behouden zinnen (gevisualiseerd als verbindingsbreedte).
     • Globale Waarschijnlijkheid ($P_{global}$): De som van token-waarschijnlijkheden over alle gegenereerde voorkomens, genormaliseerd door het aantal van de geselecteerde subset. Dit zorgt ervoor dat tokens die frequent voorkomen in de totale pool maar door clustering zijn weggefilterd, toch visueel prominent blijven (node hoogte).

Belangrijkste Bijdragen

1. Visuele Analytische Interface (Sankey Adaptatie)

TREETRACER maakt gebruik van een innovatieve adaptatie van het Sankey-diagram om geaggregeerde waarschijnlijkheidsbomen te visualiseren. Het ontkoppelt strikte regels voor behoud van flow om aan de behoeften van bias-auditing te voldoen:

• Node Hoogte: Codeert $P_{global}$, wat de geschaalde waarschijnlijkheidsmassa van een tokenpad over alle samples vertegenwoordigt.
• Verbindingsbreedte: Codeert $P_{selected}$, wat het gelokaliseerde vertrouwen van het model visualiseert binnen de geselecteerde structurele subset.
• Deze duale codering zorgt ervoor dat sterke biases die verborgen liggen in gediscardeerde syntactische variaties, toch zichtbaar blijven.

2. Comparatieve en Contrastieve Inferentie Modi

• Juxtapositie: Zij-aan-zij visualisatie van twee ontologie-gestuurde bomen maakt directe vergelijking van structurele divergentie mogelijk.
• Superpositie: Een interactieve samengevoegde weergave lijnt bomen van verschillende ontologieën uit met behulp van een verticaal cross-tree merge algoritme, waarbij de statistieken van dubbele oorsprong behouden blijven.
• Contrastieve Inferentie: Om de "statistische blinde vlek" aan te pakken waar decoding-algoritmen tokens met een lagere waarschijnlijkheid wegfilteren, voert het systeem counterfactual inferentie uit. Het dwingt het model om de ruwe waarschijnlijkheden voor specifieke tokens onder zowel de originele condities (Ontologie A en B) te berekenen en visualiseert de Contrastive Split Ratio ($R_{split}$) als gesplitste beams binnen de randen.

3. Systeem Validatie

Het systeem werd gevalideerd via vijf casestudy's waarbij een niet-uitgelijnde baseline (GPT-2 XL) werd vergeleken met constitutioneel uitgelijnde Apertus-modellen:

• Gender Bias: Onthulde verborgen biases in beroepsassociaties (bijv. vrouwelijke namen gekoppeld aan zorgrollen, mannelijke namen aan uitvoerende rollen) en counterfactual pronoun suppressie.
• Toxiciteit: Legde historische trainingsbiases bloot waarbij Arabische geografische aanduidingen werden gekoppeld aan clusters van "Politiek & Religieus Extremisme", terwijl Westerse aanduidingen werden gekoppeld aan positieve kenmerken.
• Persona Roleplay: Demonstreerde hoe roleplay-beperkingen genderstereotypen activeren (bijv. vrouwelijke CEO's beschreven via emotionele arbeid versus mannelijke CEO's via intelligentie).
• Medische Desinformatie: Toonde aan hoe uitgelijnde modellen (Apertus) structureel instorten naar harde weigeringsnodes voor gevaarlijke stoffen, terwijl niet-uitgelijnde modellen (GPT-2) coherente maar schadelijke instructies genereren.
• Syntactische Bias: Benadrukte "syntactische-domein spurious correlaties" waarbij niet-uitgelijnde modellen rigide geografische sjablonen toepassen op voedselproducten, terwijl uitgelijnde modellen zich semantisch aanpassen.

4. Gebruikersstudie

Een voorlopige gebruikersstudie met zeven computerwetenschapsstudenten bevestigde dat de geaggregeerde comparatieve interface:

• De cognitieve belasting vermindert in vergelijking met standaard beam search tools (bijv. generAItor).
• Analisten effectief ondersteunt bij het detecteren van systemische biases.
• Een System Usability Scale (SUS) score van 76,9 behaalde, wat duidt op een hoge bruikbaarheid.

Betekenis en Claims

Het artikel claimt dat TREETRACER de kloof overbrugt tussen stochastische tekstgeneratie en de noodzaak voor rigoureuze bias-auditing. De primaire betekenis ligt in de verschuiving van de analytische focus van geïsoleerde, enkelvoudige inspectie naar geaggregeerde, classificatie-bewuste vergelijking.

De auteurs stellen dat:

1. Verborgen Biases worden Blootgelegd: Bias bevindt zich vaak in paden met een lage waarschijnlijkheid en syntactische variaties die standaard top-k of beam search inspecties missen. TREETRACER maakt deze "verborgen associaties" expliciet.
2. Ontologie als Controlevariabele: Door ontologieën te behandelen als gecontroleerde onafhankelijke variabelen, stelt het systeem de gebruiker in staat om semantische effecten te scheiden van syntactische sjablonen, wat een robuustere tool biedt voor het evalueren van representatieve schade dan statische sjablonen.
3. Counterfactual Rigor: De inclusie van contrastieve inferentie vermindert het risico op misinterpretatie van de aanwezigheid van bias door de counterfactual token waarschijnlijkheden te berekenen en weer te geven, waardoor wordt gewaarborgd dat de afwezigheid van een woord in de uiteindelijke output de onderliggende waarschijnlijkheid niet maskeert.

Het werk concludeert dat het combineren van visuele aggregatie, classificatie-bewuste fusie en contrastieve inferentie een schaalbare basis biedt voor toekomstig onderzoek naar AI-veiligheid en alignment, waardoor de detectie van systemische representatieve schade mogelijk wordt, zelfs wanneer deze afwezig is in de hoogst gerangschikte outputs.