Can We Trust a Black-box LLM? LLM Untrustworthy Boundary Detection via Bias-Diffusion and Multi-Agent Reinforcement Learning

Probleemstelling

Grote Taalmodellen (LLMs) zijn uiterst bekwaam in het genereren van coherent taalgebruik, maar ze vertonen vaak inherente vooroordelen (bias), ideologische vertekeningen of onjuiste antwoorden. Dit beperkt hun toepassing in kritieke domeinen zoals verkiezingen, onderwijs en besluitvorming.
De kernuitdaging is dat bij black-box LLMs (waarbij de interne structuur en gewichten niet toegankelijk zijn) het onmogelijk is om van tevoren te voorspellen op welke onderwerpen het model onbetrouwbaar zal reageren. Het exhaustief testen van alle mogelijke onderwerpen is resource-onhaalbaar. Er is dus behoefte aan een schaalbare, kostenefficiënte methode om de "onbetrouwbare grenzen" (de specifieke onderwerpen waarvoor het model bias vertoont) van een black-box LLM te detecteren met zo min mogelijk queries.

Methodologie: GMRL-BD

De auteurs stellen een nieuw algoritme voor genaamd GMRL-BD (Graph Multi-Agent Reinforcement Learning for LLM-untrustworthy Boundary Detection). De aanpak bestaat uit de volgende componenten:

1. Kennisgraf (Knowledge Graph - KG):

   • Het systeem gebruikt een algemene KG afgeleid van de Wikipedia-categoriestructuur. Deze graf biedt een topologische en hiërarchische weergave van onderwerpen.
   • Bias-Diffusie Hypothese: De auteurs veronderstellen dat bias in LLMs niet geïsoleerd is, maar zich verspreidt (diffundeert) over de graf. Als een model bias vertoont op een bepaald onderwerp, is het waarschijnlijk dat het ook bias vertoont op topologisch gerelateerde of naburige onderwerpen.

2. Versterkingslering (Reinforcement Learning - RL):

   • Het probleem wordt gemodelleerd als een zoektocht in de KG. Agents navigeren door de graf om "bias-nodes" (onbetrouwbare onderwerpen) te vinden.
   • Beloning (Reward): De beloningsfunctie is ontworpen om agents te belonen voor het vinden van bias-nodes en te straffen voor het testen van te veel nodes (om query-kosten te minimaliseren). De beloning houdt rekening met de kortste afstand naar een ongeteste bias-node.
   • Node Embeddings: Voor elk onderwerp wordt een embedding gegenereerd door de antwoorden van de LLM te samenvatten. Deze embeddings worden verrijkt met topologische informatie van buren via een attentie-mechanisme (Graph Attention Network).

3. Multi-Agent Planning (Inferentie):

   • Om de efficiëntie te maximaliseren, worden meerdere RL-agents gelijktijdig ingezet.
   • Deze agents communiceren via een AgentLinkHub. Ze delen informatie over hun bevindingen en beloningen om overlappende zoekpaden te minimaliseren.
   • Agents kiezen dynamisch hun volgende stap om de "onbetrouwbare grens" zo snel mogelijk te identificeren binnen een vastgesteld query-budget.

4. Dataset (LBID):

   • De auteurs hebben een nieuwe dataset ontwikkeld: LLM Bias Identification Dataset (LBID).
   • Deze bevat zes populaire LLMs (Llama2, Vicuna, Falcon, Qwen2, Gemma2, Yi-1.5) waarop opzettelijk bias is "geinjecteerd" op 22.608 onderwerpen (gerelateerd aan AI, cultuur, economie, politiek, onderwijs en immigratie).
   • Er zijn 113.040 vraag-antwoordparen gegenereerd om de bias te simuleren en te labelen.

Kernbijdragen

1. Probleemformulering: Het formaliseren van het detecteren van onbetrouwbare grenzen in black-box LLMs als een nieuw en kritisch probleem voor vertrouwenswaardige AI.
2. Efficiënte KG-structuur: Het gebruik van een compacte, hiërarchische KG (Wikipedia-categorieën) om bias-diffusie efficiënter te schatten dan traditionele, grotere kennisgrafen.
3. GMRL-BD Algoritme: Een model-agnostische oplossing die multi-agent RL combineert met bias-diffusie. Dit systeem is model-onafhankelijk en vereist geen toegang tot de interne werking van de LLM.
4. Nieuwe Benchmark: De release van de LBID-dataset, die dient als een standaard voor het evalueren van toekomstige methoden voor vertrouwensdetectie in LLMs.

Resultaten

De experimenten op de LBID-dataset tonen de volgende resultaten:

• Efficiëntie: Het GMRL-BD-framework kan de onbetrouwbare grenzen detecteren met een zeer beperkt aantal queries (ongeveer 10-30 interacties per taak voor modellen met >1000 nodes). Dit is aanzienlijk efficiënter dan statische methoden.
• Bias Transmissie: Er is experimenteel bewezen dat bias inderdaad "transmitteert" naar naburige nodes in de KG, wat de basislegitimering voor de diffusie-hypothese vormt.
• Prestaties:
  • De Bias Node Cover Rate (BNCR) (recall) is hoog, met name voor Llama-2 en Falcon (bijv. ~90% voor immigratie en economie).
  • Ablatie-studies tonen aan dat zowel de SAGE-laag (voor graf-aggregatie) als de Attentie-laag essentieel zijn voor succes. Het verwijderen van deze lagen leidt tot een drastische daling in prestaties.
  • Multi-Agent Schaalbaarheid: Het verhogen van het aantal agents leidt tot een significante daling in "step loss" (aantal stappen nodig) en een stijging in de "win rate", wat aantoont dat samenwerking de detectiesnelheid en nauwkeurigheid verbetert.

Betekenis en Toekomst

Dit onderzoek biedt een praktische oplossing voor het veiligstellen van black-box AI-systemen zonder hun interne code te hoeven inspecteren. Door te vertrouwen op de topologische relaties tussen onderwerpen en multi-agent samenwerking, kunnen ontwikkelaars en gebruikers sneller bepalen op welke thema's ze een specifiek LLM niet kunnen vertrouwen.

Beperkingen en Toekomstig Werk:
Het huidige model is beperkt tot onderwerp-gebaseerde detectie. Toekomstig onderzoek moet zich richten op query-gebaseerde detectie, waarbij elke individuele vraag wordt behandeld als een multinomiale verdeling over onderwerpen, wat complexer is maar directer toepasbaar in real-time scenario's.

Samenvattend stelt het paper dat vertrouwen in een black-box LLM niet absoluut is, maar dat de "onbetrouwbare grenzen" effectief en efficiënt kunnen worden opgespoord met de voorgestelde GMRL-BD-methode.