💬 NLP

OmniTrace: A Unified Framework for Generation-Time Attribution in Omni-Modal LLMs

Das Paper stellt OmniTrace vor, ein leichtgewichtiges und modellunabhängiges Framework, das die Attribution in omni-modalen LLMs als generierungszeitliches Verfolgungsproblem formalisiert, um ohne Nachtraining kohärente spannenbasierte Erklärungen für multimodale Eingaben zu liefern.

Ursprüngliche Autoren: Qianqi Yan, Yichen Guo, Ching-Chen Kuo, Shan Jiang, Hang Yin, Yang Zhao, Xin Eric Wang

Veröffentlicht 2026-04-16

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Qianqi Yan, Yichen Guo, Ching-Chen Kuo, Shan Jiang, Hang Yin, Yang Zhao, Xin Eric Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du hast einen super-intelligenten, allwissenden Roboter-Freund. Dieser Roboter kann nicht nur Texte lesen, sondern auch Bilder betrachten, Videos ansehen und Audioaufnahmen hören. Er ist ein „Omni-Modell", das alles versteht.

Das Problem ist nur: Wenn dieser Roboter eine Antwort gibt, weißt du oft nicht, woher er die Information eigentlich hat. Hat er das aus dem Video gesehen? Aus dem Bild gelesen? Oder aus dem Audio gehört? Es ist wie bei einem Zauberer, der eine Kugel schweben lässt, aber niemand weiß, ob er einen Faden, Magie oder einen unsichtbaren Magneten benutzt hat.

Bisherige Methoden, um zu erklären, wie solche Roboter denken, waren wie ein Foto, das man erst nach dem Zaubertrick macht. Sie funktionieren gut, wenn der Roboter nur eine einfache Multiple-Choice-Frage beantworten muss (wie in der Schule). Aber wenn der Roboter eine ganze Geschichte erfindet oder ein komplexes Video zusammenfasst, während er spricht, funktionieren diese alten Methoden nicht mehr. Sie sind zu starr.

Hier kommt OmniTrace ins Spiel.

Was ist OmniTrace? (Die „Live-Übersetzer-Brille")

Stell dir OmniTrace als eine magische Brille vor, die du dem Roboter aufsetzt, während er spricht.

Der Live-Moment: Während der Roboter jeden einzelnen Satzbaustein (ein Wort) generiert, schaut die Brille sofort zurück: „Aha! Dieses Wort 'Krebszelle' kommt aus dem Video, genau in der Sekunde, wo der Arzt auf den roten Punkt zeigt."
Die Zusammenfassung: Ein einzelnes Wort ist noch keine gute Erklärung. OmniTrace sammelt diese kleinen Hinweise wie Perlen auf eine Schnur. Wenn der Roboter einen ganzen Satz über eine Krankheit sagt, fasst die Brille alle zugehörigen Video-Sekunden und Textstellen zusammen.
Der Filter: Manchmal ist der Roboter verwirrt und schaut in die falsche Richtung. OmniTrace hat einen cleveren Filter (wie einen erfahrenen Redakteur), der sagt: „Moment, dieser Hinweis ist zu schwach, wir ignorieren ihn. Aber dieser hier ist stark und passt perfekt." So entsteht eine klare, kurze Erklärung: „Der Roboter sagt das, weil er im Video von Sekunde 2 bis 4 gesehen hat..."

Warum ist das so wichtig?

Stell dir vor, du liest eine Nachricht in einer Zeitung, die von einer KI geschrieben wurde. Ohne OmniTrace würdest du denken: „Okay, das klingt gut." Aber du wüsstest nicht, ob die KI sich etwas ausgedacht hat oder ob sie echte Beweise hat.

Mit OmniTrace ist es wie bei einem Detektiv, der bei jedem Satz einen Aktenvermerk macht:

Satz: „Die Zellen sind bösartig."
Beweis: „Siehe Video-Sekunde 14 (roter Kreis) und Textzeile 6."

Das macht den Roboter ehrlich und nachvollziehbar. Man kann ihm vertrauen, weil man sieht, woher seine Informationen kommen.

Die drei großen Herausforderungen, die OmniTrace löst

Es passiert live: Früher musste man warten, bis die Geschichte fertig ist, um zu schauen, was passiert ist. OmniTrace schaut aber während des Schreibens zu. Das ist wie ein Kommentator bei einem Fußballspiel, der sofort sagt, warum ein Tor geschossen wurde, statt erst am Ende des Spiels eine Analyse zu schreiben.
Es ist ein Mix: Der Roboter nutzt Text, Bilder, Ton und Video gleichzeitig. OmniTrace kann alle diese verschiedenen Sprachen in einer einzigen Liste zusammenführen. Es ist wie ein Dolmetscher, der gleichzeitig aus fünf verschiedenen Sprachen übersetzt und alles in eine klare Geschichte verwandelt.
Es macht Sinn: Statt zu sagen „Wort 1 kam von Bild A, Wort 2 von Bild B", fasst OmniTrace ganze Sätze zusammen. Das ist wie wenn ein Lehrer nicht nur sagt „Du hast hier einen Fehler gemacht", sondern „Dein ganzer Absatz über die Geschichte war falsch, weil du diese eine Quelle missverstanden hast".

Das Ergebnis

Die Forscher haben OmniTrace an verschiedenen Robotern getestet (die Modelle Qwen und MiniCPM). Das Ergebnis war beeindruckend:

Die Erklärungen waren viel stabiler und weniger chaotisch als bei alten Methoden.
Es funktionierte auch bei Videos und langen Audioaufnahmen, wo andere Methoden oft versagten.
Besonders wichtig: Es musste den Roboter nicht neu trainiert werden. OmniTrace ist wie ein Plug-in, das man einfach einsteckt und sofort funktioniert.

Zusammenfassend: OmniTrace ist der erste Schritt zu einem transparenten KI-Alltag. Es verwandelt den „Black Box"-Roboter, der nur aus dem Nichts antwortet, in einen offenen Gesprächspartner, der bei jedem Satz sagen kann: „Schau mal, hier ist der Beweis, warum ich das sage." Das ist ein riesiger Schritt für Vertrauen und Sicherheit in der Welt der künstlichen Intelligenz.

1. Problemstellung

Moderne multimodale Large Language Models (MLLMs), insbesondere solche mit Decoder-only-Architekturen (z. B. Qwen2.5-Omni, MiniCPM-o), können fließende Antworten aus verflochtenen Eingaben (Text, Bild, Audio, Video) generieren. Ein zentrales, ungelöstes Problem ist jedoch die Attribution (Zuordnung): Es ist schwierig zu identifizieren, welche spezifischen Eingabequellen (z. B. ein bestimmter Bildbereich, ein Audio-Segment oder ein Textabschnitt) eine generierte Aussage stützen.

Bestehende Attribution-Methoden scheitern in diesem Kontext an drei Hauptproblemen:

Fehlende Generierungs-Bewusstheit: Herkömmliche Methoden sind für Klassifizierungsaufgaben mit festen Zielen (z. B. Klassen-Logits) oder Encoder-Architekturen entwickelt. Bei der autoregressiven Generierung ändert sich die Struktur des kausalen Graphen jedoch mit jedem Schritt, und es gibt kein vordefiniertes Ziel.
Omni-Modalität: Die Modelle verarbeiten heterogene Eingaben in einer einzigen Token-Sequenz. Bestehende Ansätze behandeln Modalitäten oft isoliert und können nicht nahtlos über Text-, Bild-, Audio- und Video-Token hinweg attributieren.
Semantische Interpretierbarkeit: Rohdaten auf Token-Ebene (z. B. Attention-Weights) sind oft verrauscht und fragmentiert. Eine direkte Token-zu-Quelle-Zuordnung führt zu instabilen und für Menschen schwer verständlichen Erklärungen auf Satzebene.

2. Methodik: OmniTrace

OmniTrace ist ein leichtgewichtiges, modellagnostisches Framework, das Attribution als Trace-Problem zur Generierungszeit (Generation-Time Tracing) formalisiert. Es operiert online während des Dekodierungsprozesses, ohne das Modell neu zu trainieren oder überwachte Daten zu benötigen.

Der Prozess gliedert sich in drei Hauptphasen (siehe Algorithmus 1 im Paper):

Token-Level Source Tracing (Während der Generierung):
- Für jedes generierte Token $y_t$ wird ein Attribution-Signal $a_t(i)$ aus dem kausalen Kontext extrahiert. Dies kann auf Attention-Gewichten, Gradienten oder anderen internen Signalen basieren.
- Das Framework projiziert diese Token-Level-Scores auf vordefinierte Source Units (z. B. Textspannen, Bildregionen, Zeitstempel-Intervalle für Audio/Video).
- Das Token wird der Source Unit zugeordnet, die die höchste kumulierte Attribution-Masse erhält. Zusätzlich wird ein Konfidenz-Score ( $c_t$ ) berechnet.
Span-Level Aggregation:
- Da Token-Level-Zuordnungen verrauscht sind, werden die generierten Token nach der Dekodierung in semantisch kohärente Spans (z. B. Sätze oder Phrasen) unterteilt.
- Die Token-Level-Zuordnungen innerhalb eines Spans werden aggregiert, um eine stabilere, semantisch sinnvolle Erklärung zu erhalten.
Confidence-Based Source Selection (Source Curation):
- Um die Liste der Quellen für jeden Span zu verfeinern, wird ein Filtermechanismus angewendet, der auf drei Prinzipien basiert:
  - POS-gewichtete Semantik: Inhaltstragende Tokens (Nomen, Zahlen) erhalten höheres Gewicht als Funktionwörter.
  - Konfidenz-Formung: Starke Zuordnungen werden verstärkt, schwache unterdrückt.
  - Laufzeit-Kohärenz (Run-level Coherence): Es wird bevorzugt, dass aufeinanderfolgende Tokens auf dieselbe Quelle verweisen, um zeitliche Konsistenz zu gewährleisten.
- Das Ergebnis ist eine kompakte, interpretierbare Liste von Quellen pro generiertem Satz.

3. Schlüsselbeiträge

Formalisierung: Die Umdefinition von Attribution für offene multimodale Generierung als dynamisches, generierungszeitbasiertes Problem statt als statische Klassifizierungsaufgabe.
Framework-Design: Einführung von OmniTrace als plug-and-play-Lösung, die beliebige Token-Level-Signale (Attention, Gradienten) in kohärente, span-basierte, multimodale Erklärungen umwandelt.
Modellagnostizität: Das Framework funktioniert unabhängig von der spezifischen Scoring-Methode und ist kompatibel mit verschiedenen Decoder-only Omni-Modal-LLMs.

4. Ergebnisse

Die Evaluation erfolgte auf den Modellen Qwen2.5-Omni-7B und MiniCPM-o-4.5 über 759 Beispiele hinweg (Visual QA/Summarization, Audio QA/Summarization, Video QA).

Überlegenheit gegenüber Baselines: OmniTrace übertrifft naive Selbst-Attribution (Self-Attribution) und Embedding-basierte Heuristiken (z. B. CLIP, Processor Embeddings) in allen Modalitäten signifikant.
- Beispiel: Bei der Audio-Summarization (Qwen) erreichte OmniTrace einen Time-F1 von 83,12, während Self-Attribution nur 4,43 erreichte.
- Beispiel: Bei der Bild-Attribution (Visual QA) lag OmniTrace bei einem Image-F1 von 76,59 im Vergleich zu 40,60 bei Self-Attribution.
Robustheit: Die Methode ist robust gegenüber verschiedenen zugrunde liegenden Signalen (Attention vs. Gradienten).
Einfluss der Segmentierung: Die Qualität der ASR-Segmentierung (Automatic Speech Recognition) ist kritisch. Hochwertige Segmentierung (z. B. Paraformer) führt zu deutlich besseren Ergebnissen als rohe Token-Eingaben ohne semantische Unterteilung.
Multimodale Synergie: Die Kombination von visuellen und auditiven Signalen führt zu besseren Attribution-Ergebnissen als die Nutzung einzelner Modalitäten, was die Notwendigkeit eines integrierten Ansatzes unterstreicht.
Faithfulness (Treue): Eine Analyse zeigte eine hohe Übereinstimmung (93,84 %) zwischen der von OmniTrace identifizierten Quelle und der tatsächlich vom Modell gewählten Antwortoption, was beweist, dass das Framework den internen Entscheidungsprozess des Modells widerspiegelt.

5. Bedeutung und Fazit

OmniTrace adressiert eine kritische Lücke in der Interpretierbarkeit von Omni-Modal-LLMs. Indem es Attribution als strukturiertes Problem während der Generierung behandelt, bietet es eine skalierbare Grundlage für Transparenz.

Praktische Relevanz: Das Framework ermöglicht es, nachzuvollziehen, warum ein Modell eine bestimmte Aussage trifft, was für Anwendungen in der Entscheidungsfindung, Zusammenfassung und Fehleranalyse essenziell ist.
Forschungsbeitrag: Die Arbeit zeigt, dass Attribution nicht nur ein Post-hoc-Problem ist, sondern dynamisch in den Dekodierungsprozess integriert werden muss, um stabile und semantisch kohärente Erklärungen für komplexe multimodale Eingaben zu liefern.
Zukunftsausblick: OmniTrace legt den Grundstein für vertrauenswürdige, transparente und debuggbare Omni-Modal-Systeme, die in sicherheitskritischen oder regulierten Umgebungen eingesetzt werden können.

Zusammenfassend stellt OmniTrace einen Paradigmenwechsel dar: Weg von statischen, klassifikationsbasierten Erklärungen hin zu dynamischen, generierungszeitbasierten Tracings, die der Komplexität moderner multimodaler LLMs gerecht werden.