Directional Concentration Uncertainty: A representational approach to uncertainty quantification for generative models

Probleemstelling

Generatieve modellen, zoals Large Language Models (LLM's), zijn onmisbaar maar vaak onbetrouwbaar in kritieke toepassingen omdat ze geen transparante maatstaf voor onzekerheid bieden. Bestaande methoden voor Uncertainty Quantification (UQ), met name Semantische Entropie (Semantic Entropy - SE), zijn veelbelovend maar hebben fundamentele beperkingen:

• Rigiditeit: SE is afhankelijk van semantische clustering van gegenereerde antwoorden. Dit vereist een strikte definitie van "semantische equivalentie" (vaak berekend via implicatie-modellen zoals NLI).
• Gebrek aan generalisatie: Deze aanpak werkt goed voor korte, gestructureerde vragen (zoals TriviaQA), maar faalt bij complexere, open-ended taken of multimodale scenario's (bijv. visuele vragen), omdat het moeilijk is om tekstuele equivalentie te definiëren voor lange of complexe teksten.
• Afhankelijkheid van heuristieken: Bestaande methoden vereisen vaak taakspecifieke aanpassingen of externe modellen voor semantische matching.

Het paper stelt dat er een flexibeler, modaal-onafhankelijke methode nodig is die onzekerheid meet zonder afhankelijk te zijn van discrete semantische clusters.

Methodologie: Directional Concentration Uncertainty (DCU)

De auteurs introduceren Directional Concentration Uncertainty (DCU), een geometrisch raamwerk dat onzekerheid kwantificeert op basis van de ruimtelijke spreiding van embeddings in een continue vectorruimte.

Kernstappen van de methode:

1. Sampling: Voor een gegeven input $x$ worden $N$ gegenereerde outputs ($y_1, ..., y_N$) gegenereerd door het taalmodel bij een hoge temperatuur.
2. Embedding: Elk gegenereerd antwoord wordt omgezet in een continu vectorvoorstelling ($\phi(y_i)$) met behulp van een vooraf getraind embedding-model (bijv. e5-large-v2 voor tekst, CLIP voor multimodaal).
3. Normalisatie: De vectoren worden $\ell_2$-genormaliseerd zodat ze op een eenheidshypersfeer ($S^{d-1}$) liggen.
4. Modeling met vMF: De verzameling genormaliseerde vectoren wordt gemodelleerd als een verdeling volgens de von Mises-Fisher (vMF) verdeling. Deze verdeling wordt gedefinieerd door een gemiddelde richting ($\mu$) en een concentratieparameter ($\kappa$).
5. Berekening van Onzekerheid:
   • De parameter $\kappa$ meet hoe sterk de vectoren rond de gemiddelde richting geclusterd zijn.
   • Een hoge $\kappa$ betekent lage spreiding (hoge zekerheid/consistentie).
   • Een lage $\kappa$ betekent hoge spreiding (hoge onzekerheid/variabiliteit).
   • De onzekerheidsscore wordt gedefinieerd als de inverse concentratie: $\kappa^{-1}$.

Verschil met Semantische Entropie (SE):
In tegenstelling tot SE, die tekstuele antwoorden in discrete clusters groepeert en entropie over die clusters berekent, berekent DCU onzekerheid direct op basis van de geometrische spreiding in de embedding-ruimte. Dit elimineert de noodzaak voor semantische equivalentie-checks of entailment-modellen.

Experimenten en Resultaten

De auteurs hebben DCU getest en vergeleken met SE op verschillende datasets en modellen (LLaMA-2, Mistral, Falcon, LLaVA, Gemma).

1. Tekstuele Vraag-Antwoord Taken (Unimodaal):

• Datasets: TriviaQA, SQuAD, NQ-Open.
• Resultaat: DCU presteert vergelijkbaar met of beter dan SE. Hoewel SE soms iets hogere AUROC-waarden (Area Under the Receiver Operating Characteristic curve) behaalt, ligt DCU binnen de betrouwbaarheidsintervallen en is het in sommige scenario's (bijv. Falcon op NQ-Open) superieur.
• Conclusie: DCU kan het onzekerheidssignaal van SE even goed vangen, maar zonder de complexiteit van semantische clustering.

2. Visuele Vraag-Antwoord Taken (Multimodaal):

• Dataset: ScienceQA (met afbeeldingen).
• Resultaat: Hier toont DCU zijn meerwaarde duidelijk.
  • De prestaties van SE dalen drastisch (AUROC rond 0.5, wat gelijkstaat aan willekeurige voorspelling), vooral omdat semantische equivalentie moeilijk te definiëren is voor multimodale antwoorden.
  • DCU behoudt een veel sterkere prestatie (AUROC van 0.67 voor LLaVA), wat aantoont dat de geometrische spreiding van embeddings een robuustere maatstaf is voor multimodale onzekerheid.

Belangrijkste Bijdragen

1. Nieuw Raamwerk: Introductie van DCU als een flexibele, representatie-gebaseerde methode voor UQ die werkt voor zowel unimodale als multimodale generatieve modellen.
2. Overcoming Limitations: Het oplossen van het generalisatieprobleem van semantische entropie door af te zien van semantische clustering en te vertrouwen op continue vectorruimten.
3. Empirisch Bewijs: Demonstration dat DCU prestaties behaalt die gelijk zijn aan of beter zijn dan state-of-the-art methoden, met name in complexe, open-ended en multimodale domeinen waar bestaande methoden falen.
4. Toekomstvisie: Een kader voor het integreren van onzekerheidsmeting in agentische systemen en andere modaliteiten (zoals beeld- of audiogeneratie), zolang er een geschikte encoder beschikbaar is.

Betekenis en Toekomstperspectief

De paper toont aan dat de kern van succesvolle sampling-gebaseerde UQ-methoden (zoals het meten van inconsistentie in antwoorden) beter en breder kan worden toegepast via embeddings dan via semantische clustering.

• Flexibiliteit: Omdat DCU alleen een goede embedding-model vereist, is het toepasbaar op elke generatieve taak en elke modality (tekst, beeld, audio), zolang er een encoder bestaat.
• Agentische Systemen: De methode is ideaal voor agentische workflows waar onzekerheid moet worden gedetecteerd en beperkt voordat deze zich voortplant naar volgende stappen in een keten.
• Beperkingen: De methode vereist nog steeds herhaaldelijke sampling van het model, wat computercosts met zich meebrengt. Echter, de kosten van de encoder zijn lager dan die van de generatieve modellen zelf.

Kortom, DCU biedt een robuustere, schaalbare en modaal-onafhankelijke oplossing voor het kwantificeren van onzekerheid in de volgende generatie van generatieve AI-systemen.