OmniTrace: A Unified Framework for Generation-Time Attribution in Omni-Modal LLMs

Probleemstelling

Moderne Multimodale Grootte Taalmodellen (MLLM's) kunnen vloeiende antwoorden genereren op basis van een mix van tekst, afbeeldingen, audio en video. Een groot uitdaging blijft echter het identificeren van de specifieke bronnen binnen deze ingevoerde multimodale data die een bepaalde gegenereerde uitspraak ondersteunen.

Bestaande attributiemethoden (technieken om te verklaren waarom een model een bepaalde output produceert) hebben drie fundamentele beperkingen in deze context:

1. Vaste doelstellingen: Ze zijn voornamelijk ontworpen voor classificatietaken met een vast doel (zoals een class-logit) of extractieve taken, terwijl generatieve modellen open-ended output produceren zonder vooraf bepaald doel.
2. Architectuur: Ze zijn vaak gebaseerd op encoder-architecturen en werken niet goed met decoder-only modellen die tokens sequentieel genereren in een groeiende causale grafiek.
3. Enkele modus: Ze gaan vaak uit van één modus (bijv. alleen tekst) en kunnen de complexe, verweven aard van omni-modale inputs (tekst, beeld, audio, video in één sequentie) niet goed hanteren.

Het resultaat is dat huidige methoden onstabiele, fragmentarische en semantisch oncoherente uitleggen produceren op token-niveau, wat niet bruikbaar is voor menselijke interpretatie op zinsniveau.

Methodologie: OmniTrace

OmniTrace is een lichtgewicht, model-agnostisch framework dat attributie formaliseert als een generatie-tijdse traceerprobleem (generation-time tracing problem) over het causale decodeerproces. Het werkt tijdens het autoregressieve genereren en vereist geen hertraining van het model.

Het framework bestaat uit drie hoofdstappen:

1. Generatie-tijdse Brontrace (Token Level):
   Tijdens het decoderen van elk gegenereerd token $y_t$, wordt een token-level attributiesignaal $a_t(i)$ verkregen (bijvoorbeeld op basis van attention-weights of gradienten). Dit signaal meet de invloed van elk invoer-token $i$ op de generatie van $y_t$. OmniTrace projecteert deze scores op vooraf gedefinieerde bronunits (zoals tekstspans, afbeeldingsregio's of tijdsintervallen voor audio/video) en kiest de bron met de hoogste attributiemassa.

2. Aggregatie op Span-niveau:
   Omdat token-level signalen vaak ruis bevatten en gefragmenteerd zijn, worden de gegenereerde tokens gegroepeerd in semantisch coherente "spans" (bijv. zinnen of zinsdelen). De token-level traces binnen een span worden geaggregeerd om een stabielere, semantisch betekenisvolle uitleg te vormen.

3. Selectie van Bronnen op Basis van Vertrouwen (Confidence-Based Curation):
   Om de uiteindelijke uitleg beknopt en betrouwbaar te maken, past OmniTrace een filteringsproces toe dat gebruikmaakt van:

   • Vertrouwensscores: Gewogen op basis van de sterkte van de token-bron-link.
   • POS-gewichting: Semantisch belangrijke tokens (bijv. zelfstandige naamwoorden) krijgen meer gewicht dan functiewoorden.
   • Temporele coherentie: Het bevordert bronnen die consistent worden ondersteund door opeenvolgende tokens, wat helpt bij het verminderen van ruis in visuele en temporele data.

Het framework is "plug-and-play" en kan werken met verschillende onderliggende signalen (attention, gradients, etc.).

Belangrijkste Bijdragen

1. Formalisatie: De auteurs formaliseren attributie voor open-ended multimodale generatie als een dynamisch traceerprobleem, in plaats van een statisch post-hoc probleem.
2. OmniTrace Framework: Introductie van een uniek protocol dat willekeurige token-level signalen omzet in coherente, cross-modale span-level uitleggen zonder hertraining.
3. Empirisch Bewijs: Demonstratie dat generatie-bewuste span-level attributie stabieler en interpreteerbaarder is dan bestaande baselines (zoals naive self-attribution of embedding-gebaseerde methoden) over diverse taken en modellen.

Resultaten

De evaluatie vond plaats op twee state-of-the-art omni-modale modellen (Qwen2.5-Omni en MiniCPM-o-4.5) over een benchmark van 759 voorbeelden, inclusief visuele QA, audio samenvattingen en video redenering.

• Prestatie: OmniTrace presteerde significant beter dan post-hoc baselines (zoals embedding-gebaseerde similariteit en zelf-attributie) op alle taken. Bijvoorbeeld, op visuele samenvattingen behaalde OmniTrace een F1-score van ~76% tegenover ~9% voor self-attribution.
• Robuustheid: Het framework bleef robuust ongeacht het gebruikte onderliggende signaal (attention-middeling, raw attention of gradients).
• Modale Generalisatie: Het werkt effectief op continue tijdsintervallen (audio/video) en discrete spans (tekst/afbeelding).
• Ablatie Studies:
  • ASR Segmentatie: Hoogwaardige spraakherkenning (ASR) voor audio-input was cruciaal; ruwe token-input zonder semantische segmentatie leidde tot een sterke daling in prestaties.
  • Multimodaliteit: Het combineren van visuele en auditieve signalen leverde de beste attributie op, wat aantoont dat beide modaliteiten complementaire bewijslast bieden.
  • Filtering: Het verwijderen van de confidence-based filtering leidde tot een instorting van de prestaties, vooral bij visuele attributie, wat aangeeft dat ruwe token-traces te ruisig zijn voor directe interpretatie.

Betekenis en Conclusie

OmniTrace biedt een schaalbare en praktische oplossing voor transparantie in de volgende generatie omni-modale taalmodellen. Door attributie te behandelen als een gestructureerd probleem dat tijdens het genereren wordt opgelost, kunnen ontwikkelaars en gebruikers beter begrijpen waarom een model een bepaalde uitspraak doet en op welke specifieke bronnen (tekst, beeld, geluid) deze gebaseerd is.

Dit is essentieel voor:

• Vertrouwen: Het verifiëren van de grondslag van AI-antwoorden.
• Debugging: Het identificeren van fouten in de modellogica of de kwaliteit van de inputdata.
• Verantwoordelijkheid: Het waarborgen dat AI-systemen hun uitspraken kunnen onderbouwen met concrete bewijslast uit de input.

De auteurs concluderen dat OmniTrace een fundament legt voor transparante, betrouwbare en interpreteerbare omni-modale AI-systemen.