Technische Samenvatting: GLARE – Een Natuurlijke Taalinterface voor het Opvragen van Globale Verklaringen

1. Probleemstelling

Diepe visiemodellen zijn, hoewel succesvol in domeinen met een hoog belang, nog steeds opaak. Hoewel Explainable AI (XAI) zowel lokale verklaringen (bijv. saliency maps voor individuele instanties) als globale verklaringen (bijv. geaggregeerde regels of prototypes die het gedrag van een model over een dataset samenvatten) biedt, bestaat er een kritieke bruikbaarheidskloof. Huidige globale verklaringen zijn vaak monolithische, statische artefacten die duizenden logische regels of prototypes bevatten. Het presenteren van deze "verklaringen-dump" aan gebruikers veroorzaakt cognitieve overbelasting, wat inzichten eerder verduistert dan onthult.

Gebruikers hebben doorgaans geen behoefte aan een statische samenvatting; zij gaan een iteratief, query-gestuurd proces aan om specifieke hypothesen te testen (bijv. "Vertrouwt het model op achtergrond-sneeuw om wolven te classificeren?"). Bestaande tools dwingen gebruikers om handmatig lokale verklaringen te filteren en te aggregeren om dergelijke vragen te beantwoorden, wat wrijving creëert die het praktische nut van globale inzichten beperkt. Er is behoefte aan een interface waarmee gebruikers globale verklaringen kunnen bevragen met natuurlijke taal, zonder blootgesteld te worden aan laag-niveau representaties of programmeerkennis te vereisen.

2. Methodologie

De auteurs stellen GLARE voor (Global Language-based Analysis and Retrieval of Explanations), een interactief systeem dat globale verklaringen niet behandelt als statische documenten, maar als een querybare database.

Systeemarchitectuur

Het systeem volgt een parse-validate-execute pijplijn:

1. Input: Gebruikers stellen natuurlijke taalvragen over geaggregeerd modelgedrag (bijv. "Welk percentage van de slaapkamerbeelden bevat zowel een bed als een muur?").
2. Semantische Parsing (LLM): Een gefinetuned Large Language Model (LLM) fungeert als semantische parser. Het vertaalt de natuurlijke taalvraag van de gebruiker naar een gestructureerde SQL-query.
   • De LLM selecteert uit een vooraf gedefinieerde taxonomie van 24 query-templates die taken dekken zoals frequentie-tellingen, Booleaanse combinaties, co-occurrentie en contrafeitelijke analyse.
   • Het extraheert parameters (klassenamen, objectnamen, drempelwaarden) om de template te instantiëren.
3. Executie: De gegenereerde SQL wordt gevalideerd op veiligheid en correctheid, en vervolgens uitgevoerd tegen een relationele database die de globale verklaringgegevens bevat.
   • De database wordt geconstrueerd door Lokale Minimale Voldoende Verklaringen (MSX'en) te aggregeren in een globale Disjunctieve Normaalvorm (DNF) structuur.
   • Hoewel de experimenten gebruikmaken van verklaringen gegenereerd door een specifieke methode (Vasu et al. [20]), is de interface ontworpen om te werken met elke concept-gebaseerde lokale verklaringmethode die symbolische vormen produceert.
4. Output: Het systeem retourneert:
   • Een samenvatting in natuurlijke taal, aangevuld met relevante statistieken.
   • Ondersteunende lokale verklaringen (beweesbeelden).
   • Visualisaties die aansluiten bij de intentie van de query (bijv. segmentatiekaarten die relevante objecten highlighten).

Trainingsstrategie

Om ervoor te zorgen dat de LLM de structuur van het opvragen van verklaringen leert in plaats van specifieke dataset-entiteiten te memoriseren, gebruiken de auteurs een gespecialiseerde fine-tuning benadering:

• Synthetische Data: 50.000 trainingsparen worden gegenereerd door willekeurige combinaties van objecten en scène-klassen uit de ADE20K-vocabulaire te samplen en natuurlijke taalvariaties (synoniemen, formuleringstemplates) toe te passen.
• SQL-Fence Loss Masking: Tijdens de fine-tuning (met behulp van LoRA op Gemma 2 en Qwen 2.5 modellen), wordt de trainingsverlies gemaskeerd om uitsluitend te focussen op tokens tussen de SQL_START en SQL_END markers. Dit dwingt het model om de relationele algebra van de querytaal te leren, wat zero-shot transfer naar nieuwe datasets met verschillende vocabularia mogelijk maakt.

3. Belangrijkste Bijdragen

Het artikel beschrijft drie primaire bijdragen:

1. Natuurlijke Taalinterface voor Globale Verklaringen: De introductie van GLARE, dat globale verklaringen transformeert in querybare databases, waardoor gebruikers het modelgedrag kunnen bevragen via natuurlijke taal.
2. SQL-gebaseerde Intermediaire Representatie: De definitie van een gestructureerd SQL-schema voor het aggregeren, filteren en contrasteren van lokale verklaringen, wat de kloof overbrugt tussen de intentie in natuurlijke taal en formele logische aggregatie.
3. Robuuste Query-interpretatie via Synthetische Fine-tuning: De demonstratie dat synthetische data-fine-tuning met SQL-fence loss masking robuuste query-interpretatie oplevert. Deze aanpak maakt zero-shot cross-dataset transfer mogelijk (bijv. van ADE20K naar Pascal VOC) zonder hertraining, omdat het model gegeneraliseerde redeneerpatronen leert in plaats van dataset-specifieke entiteitsmappings.

4. Experimentele Resultaten

Het systeem werd geëvalueerd op globale verklaringen afgeleid van de ADE20K scène-parsing dataset, met een cross-dataset evaluatie op Pascal VOC.

In-distributie Accuratesse

• Prestaties: Gefinetunede modellen (specifiek Gemma 2 9B en 27B) behaalden een >95% resultaat-match accuratesse op uitgesloten queries over de trainingsdataset.
• Structurele Integriteit: Deze modellen behaalden bijna perfecte scores op fence-detectie, SQL-parsing en executieratio's (in veel gevallen 100%).
• Baseline Vergelijking: Basis (ongetrainde) modellen behaalden bijna nul accuratesse, wat bevestigt dat de prestaties een product zijn van de specifieke fine-tuning pijplijn en niet van bestaande SQL-kennis. Een niet-lerende Regex-baseline behaalde 74,4% accuratesse, wat aanzienlijk lager is dan de gefinetunede modellen.

Robuustheid tegen Perturbaties

Het systeem demonstreerde sterke veerkracht tegen linguïstische ruis:

• Spelfouten: Het gefinetunede model behield een 79,6% match rate vergeleken met de 48,7% van de Regex-baseline, wat een voorsprong van +31 procentpunt betekent.
• Synoniem Substitutie: Het model vertoonde 100% robuustheid tegen synoniemen, waarbij het de Regex-baseline met 17 procentpunten versloeg.
• Consistentie: Semantisch equivalente parafrases leverden 94,1% van de tijd identieke SQL-resultaten op.
• Zanigheid: Alle outputs voldeden aan domeinbeperkingen (bijv. geen negatieve tellingen of percentages buiten [0, 100]).

Generalisatie en Transfer

• Out-of-Distribution (OOD) Formulering: Het model ging goed om met nieuwe formuleringen van getrainde templates (45,1% exacte match), hoewel het moeite had met complexe dubbele ontkenningen of zeer informele queries.
• Nieuwe SQL Constructen: Het model vertoonde compositionele generalisatie, waarbij het bekende SQL-fragmenten in nieuwe structuren assembleerde (bijv. chained_filter met 100% match), maar faalde op geheel onbekende syntaxis (bijv. window_function met 0% match).
• Cross-Dataset Transfer: Een model dat uitsluitend getraind is op ADE20K metadata, behaalde ~90% accuratesse bij een test op een Pascal VOC-database met een volledig andere object-vocabulaire. Dit bevestigt dat het model de relationele structuur van het schema heeft geleerd in plaats van specifieke entiteitsnamen.

Model Schaal Analyse

• Capaciteitsdrempel: Een minimaal modelcapaciteit is vereist. Qwen 2.5 0.5B slaagde er niet in de taak te leren, zelfs niet na fine-tuning, terwijl 7B+ modellen robuust presteerden.
• Verzadiging: Binnen de Gemma 2 familie verzadigde de prestatie over 2B, 9B en 27B parameters voor in-distributie taken, wat suggereert dat de synthetische pijplijn effectief is, zelfs voor kleinere, voldoende grote modellen.

5. Betekenis en Claims

Het artikel claimt dat GLARE een praktisch en betrouwbaar pad biedt naar mensgerichte XAI. Door over te stappen van passieve inspectie van statische artefacten naar actieve, query-gestuurde dialoog, maakt het systeem globale verklaringen toegankelijk voor niet-experts.

De auteurs benadrukken dat hun aanpak:

• Flexibiliteit Grondt in Formele Correctheid: Door LLM's te gebruiken als logica-beperkte parsers die mappen naar verifieerbare SQL-templates, vermijdt het systeem de hallucinaties die gebruikelijk zijn bij directe LLM-gebaseerde verklaringen.
• Zero-Shot Transfer Mogelijk Maakt: De "SQL-fence" trainingsstrategie stelt het systeem in staat om te generaliseren naar nieuwe domeinen en vocabularia zonder hertraining, mits een nieuwe lijst met entiteitsnamen beschikbaar is.
• Cognitieve Belasting Vermindert: Het stelt gebruikers in staat om gerichte vragen te stellen zonder de onderliggende complexiteit van duizenden logische regels te hoeven begrijpen.

Het artikel concludeert dat hoewel de huidige template-taxonomie uitbreidbaar maar niet uitputtend is, het aangetoonde vermogen om over datasets te transfereren en linguïstische variaties te verwerken, suggereert dat LLM-bemiddelde querying een levensvatbare oplossing is voor het schalen van globale verklaringenanalyse.