💻 computer science

Concepts in Motion: Temporal Concept Bottleneck Model for Interpretable Video Classification

Dieser Beitrag stellt MoTIF vor, ein auf Transformern basierendes Framework, das die interpretierbare Videoklassifizierung verbessert, indem es ein klassenbedingtes VLM nutzt, um automatisch zeitliche Konzepte zu entdecken und deren dynamische Muster durch pro-Konzept-Selbstaufmerksamkeit zu modellieren, wodurch die Leistungslücke zwischen interpretierbaren Modellen und Black-Box-Videobaselines geschlossen wird.

Ursprüngliche Autoren: Patrick Knab, Sascha Marton, Philipp J. Schubert, Drago Guggiana, Christian Bartelt

Veröffentlicht 2026-05-13

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Patrick Knab, Sascha Marton, Philipp J. Schubert, Drago Guggiana, Christian Bartelt

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen einem Computer beizubringen, zu erkennen, was in einem Video passiert, etwa jemanden, der einen Bogen und Pfeil abschießt. Die meisten modernen KI-Modelle sind wie superkluge, aber stumme Magier. Sie liefern die richtige Antwort (sie sagen: „Ja, das ist Bogenschießen!"), doch wenn Sie sie fragen, warum, starren sie nur mit einer Blackbox zurück. Sie können ihren Denkprozess nicht sehen.

Diese Arbeit stellt ein neues System namens MoTIF (Moving Temporal Interpretable Framework) vor. Betrachten Sie MoTIF nicht als Magier, sondern als einen sehr organisierten Detektiv, der Verbrechen löst, indem er eine spezifische Liste von Hinweisen nacheinander abhakt und dabei ein Tagebuch führt, wann diese Hinweise auftraten.

So funktioniert es, aufgeteilt in einfache Teile:

1. Die „Hinweisliste" (Konzepte)

Anstatt das Video als verschwommenes Durcheinander von Pixeln zu betrachten, zerlegt MoTIF das Video in eine Liste von für Menschen verständlichen „Konzepten".

Der alte Weg: Eine Standard-KI betrachtet das gesamte Video auf einmal und rät.
Der MoTIF-Weg: Sie fragt: „Sehe ich einen Bogen? Sehe ich einen Pfeil? Sehe ich jemanden, der das Pferd besteigt? Sehe ich, wie sie schießen?"
Der magische Trick: Die Arbeit nutzt einen speziellen „intelligenten Assistenten" (ein Vision-Language-Modell), um diese Liste von Hinweisen automatisch aus den Trainingsvideos zu generieren. Es braucht keinen Menschen, der die Liste schreibt; die KI erkennt selbst, dass „Bogen" und „schießen" die wichtigen Wörter sind, nach denen sie suchen muss.

2. Das „Tagebuch" (Zeit ist entscheidend)

Dies ist der wichtigste Teil. In einem Foto ist ein Bogen nur ein Bogen. In einem Video ist Zeit alles.

Wenn Sie einen Bogen sehen, dann eine Person, dann eine Schussbewegung, ist das Bogenschießen.
Wenn Sie eine Schussbewegung sehen, dann einen Bogen, dann eine Person, ist das seltsam und wahrscheinlich kein Bogenschießen.

Die meisten KI-Modelle vermischen all diese Hinweise zu einem großen Smoothie und verlieren dabei die Reihenfolge. MoTIF ist anders. Es führt ein separates Tagebuch für jeden Hinweis.

Es gibt ein „Bogen-Tagebuch", das verfolgt, wann der Bogen erscheint.
Es gibt ein „Schießen-Tagebuch", das verfolgt, wann das Schießen stattfindet.
Es gibt ein „Besteigen-Tagebuch" für das Pferd.

Es verwendet einen speziellen „Aufmerksamkeits"-Mechanismus (denken Sie daran wie an einen Scheinwerfer), der nur auf das Bogen-Tagebuch schaut, um zu entscheiden, wann der Bogen wichtig ist, und auf das Schießen-Tagebuch für das Schießen. Es vermischt die Tagebücher niemals. Dies stellt sicher, dass, wenn die KI sagt „Bogen", Sie genau wissen, wann im Video sie den Bogen gesehen hat.

3. Das „Urteil" (Vorhersage)

Sobald die Tagebücher ausgefüllt sind, kombiniert MoTIF die Notizen.

Es betrachtet den Eintrag „Bogen": „Erschienen bei 2 Sekunden."
Es betrachtet den Eintrag „Schießen": „Erschienen bei 5 Sekunden."
Es kombiniert diese mit einer mathematischen Formel (Log-Sum-Exp-Pooling), um eine endgültige Entscheidung zu treffen: „Bogenschießen."

Da es die Tagebücher getrennt hielt, kann es Ihnen genau sagen, warum es diese Wahl getroffen hat. Es kann sagen: „Ich habe Bogenschießen gewählt, weil ich bei 2 Sekunden einen Bogen und bei 5 Sekunden eine Schussbewegung gesehen habe."

4. Der „Was-wäre-wenn"-Test (Intervention)

Die Arbeit zeigt, dass das System aufgrund seiner Transparenz tatsächlich seinen Verstand bearbeiten kann, um Fehler zu beheben.

Szenario: Die KI sieht ein Video von jemandem, der in einem Friseurstuhl sitzt, und denkt fälschlicherweise: „Rasieren eines Bartes."
Die Lösung: Die Forscher können manuell den Hinweis „Friseurstuhl" im System ausschalten.
Das Ergebnis: Die KI ändert sofort ihre Meinung und sagt: „Oh, warte, ohne den Stuhl ist das eigentlich 'Lippenstift auftragen'!"
Dies beweist, dass das System nicht nur rät; es verlässt sich tatsächlich auf die spezifischen Hinweise, die Sie sehen und anfassen können.

Warum ist das eine große Sache?

Die Autoren haben MoTIF an mehreren Videodatensätzen getestet (wie Menschen bei Frühstücksaufgaben, Sport und zufälligen Aktionen).

Genauigkeit: Es performt fast genauso gut wie die „Blackbox"-Modelle, die niemand verstehen kann.
Interpretierbarkeit: Im Gegensatz zu den Blackboxen kann MoTIF Ihnen eine Karte zeigen, wann es den Bogen, das Pferd oder den Pfeil gesehen hat.
Der Kompromiss: Die Arbeit gibt zu, dass das strikte Trennen der Tagebücher (damit Sie den Hinweisen vertrauen können) die KI manchmal etwas weniger genau macht, als wenn sie die Hinweise vermischen dürfte. Allerdings haben sie festgestellt, dass dieses „Vermischen" die KI schwerer verständlich macht, daher haben sie sich dafür entschieden, die Tagebücher getrennt zu halten, um Vertrauen zu priorisieren.

Zusammenfassung

MoTIF ist wie ein Video-Detektiv, der Verbrechen löst, indem er eine Liste von Hinweisen (Konzepten) in einer bestimmten Reihenfolge (Zeit) abhakt. Es rät nicht einfach; es führt ein Protokoll darüber, genau wann es den Bogen, den Pfeil und das Pferd gesehen hat, sodass Menschen über seine Schulter schauen und genau verstehen können, wie es zu seinem Schluss gekommen ist. Es schließt die Lücke zwischen „kluger, aber mysteriöser" KI und „kluger und erklärbarer" KI.

Technische Zusammenfassung: MoTIF – Temporales Konzept-Bottleneck-Modell für interpretierbare Videoklassifizierung

Problemstellung

Während Konzept-Bottleneck-Modelle (CBMs) die interpretierbare Bildklassifizierung erfolgreich ermöglicht haben, indem sie Vorhersagen um menschlich verständliche Konzepte strukturieren, bleibt die Übertragung dieses Paradigmas auf Videos herausfordernd. Im Gegensatz zu statischen Bildern enthält Videodaten eine zeitliche Komponente, in der sich Konzepte über die Zeit entwickeln, und viele Aktionen können nicht aus einem einzelnen Bildrahmen abgeleitet werden. Bestehende Ansätze kämpfen häufig mit zwei Hauptproblemen:

Zeitliche Modellierung vs. Interpretierbarkeit: Standard-Transformer sind hervorragend darin, langreichweitige Abhängigkeiten zu erfassen, setzen jedoch eine dichte zeitliche Merkmalsmischung ein, die Konzept-zu-Attributierungen verschleiert und sie für interpretierbare CBM-Modellierung ungeeignet macht.
Konzeptextraktion: Die manuelle Annotation von Konzepten für Videos ist arbeitsintensiv. Zwar bieten Vision-Language-Modelle (VLMs) einen Weg zur automatischen Entdeckung, doch ist es nicht trivial, dies so zu erweitern, dass zeitlich verankerte, klassenbedingte Konzepte ohne manuelle Eingriffe erfasst werden.

Die Kernherausforderung besteht darin, eine Architektur zu entwerfen, die variable Videolängen verarbeitet und zeitliche Dynamiken modelliert, während sie eine strikte Konzept-zu-Attributierung bewahrt und die „Black-Box"-Natur standardmäßiger Deep-Learning-Modelle vermeidet.

Methodik: MoTIF

Die Autoren stellen MoTIF (Moving Temporal Interpretable Framework) vor, einen transformer-basierten CBM, der auf Videoklassifizierung zugeschnitten ist. Das Framework arbeitet auf Sequenzen von konzeptuellen Aktivierungen auf Fensterebene und besteht aus drei Hauptkomponenten:

1. VLM-basierte Pipeline zur Konzeptentdeckung

Anstatt sich auf vordefinierte Konzeptvokabulare zu verlassen, setzt MoTIF eine aufgabenagnostische Entdeckungsphase ein:

Prozess: Pro Klasse wird eine kleine Teilmenge von Trainingsvideos abgetastet. Ein Vision-Language-Modell (VLM), konditioniert auf das Klassenlabel, generiert natürliche Sprachkandidaten für Objekte und Aktionen innerhalb jedes zeitlichen Fensters.
Filterung: Diese Kandidaten werden mittels CLIP-basierter Modelle eingebettet. Nahezu Duplikate werden durch Filterung basierend auf der Kosinus-Ähnlichkeit (Schwellenwert > 0,9) entfernt, was zu einer diversen, globalen Konzeptbank $C$ führt.
Aktivierung: Für jedes Video-Fenster werden visuelle Embeddings mit der Konzeptbank verglichen, um eine Konzeptaktivierungsmatrix $X \in \mathbb{R}^{T \times K}$ zu erzeugen, wobei $T$ die Anzahl der Fenster und $K$ die Anzahl der Konzepte ist.

2. Per-Kanal Zeitliche Self-Attention (Diagonale Attention)

Die zentrale architektonische Innovation ist ein zeitliches Modul, das das Reasoning für jedes Konzept isoliert:

Diagonale Struktur: Im Gegensatz zu Standard-Transformern, die Kanäle durch vollständige lineare Projektionen mischen ( $W_Q \in \mathbb{R}^{C \times C}$ ), verwendet MoTIF depthwise 1 $\times$ 1-Faltungen, um Query-, Key- und Value-Projektionen für jeden Konzeptkanal unabhängig zu generieren.
Mechanismus: Jeder Konzeptkanal $c$ berechnet seine eigenen Attention-Scores $W_{c,t,u}$ über die zeitliche Sequenz. Dies stellt sicher, dass Evidenz aus einem Konzept nicht in ein anderes fließen kann, wodurch eine strikte Konzept-Attributierung bewahrt wird.
Ausgabe: Die Ausgabe ist eine gewichtete Summe von Werten für jedes Konzept, wobei die Unabhängigkeit der Konzeptkanäle gewahrt bleibt, während modelliert wird, wann und wie Konzepte über die Zeit wiederkehren.

3. Klassifizierung und Erklärung

Affine Transformation: Aktivierungen durchlaufen eine nicht-negative affine Transformation ( $\gamma_c X + \delta_c$ ), gefolgt von einer Softplus-Nichtlinearität, um nicht-negative, differenzierbare Aktivierungen sicherzustellen.
Pooling: Ein Log-Sum-Exp (LSE)-Pooling-Mechanismus aggregiert Logits pro Zeitschritt zu einer Vorhersage auf Videoebene. Dies dient als weiche Approximation des Max-Poolings und liefert ein Profil der zeitlichen Wichtigkeit.
Drei-Modus-Erklärung: MoTIF zerlegt Vorhersagen in:
1. Globale Konzepte: Aggregierte Relevanz über das gesamte Video.
2. Lokale Konzepte: Relevanz innerhalb spezifischer zeitlicher Fenster mit hohem Gewicht.
3. Zeitliche Abhängigkeiten: Attention-Karten, die zeigen, wie ein Konzeptkanal den Fokus über die Zeit verteilt (z. B. Identifizierung zeitlicher Anker oder persistenter Präsenz).

Hauptbeiträge

MoTIF-Architektur: Ein Video-CBM, der per-Kanal zeitliche Self-Attention nutzt, um zeitliche Dynamiken auf individueller Konzeptebene zu modellieren und gleichzeitig die Konzeptunabhängigkeit zu bewahren.
Multi-granulare Erklärung: Das Framework bietet drei komplementäre Erklärungsmodi (globale, lokale und zeitliche Abhängigkeitskarten), um die Entscheidungsfindung über die Zeit nachzuverfolgen.
VLM-basierte Entdeckung: Eine Pipeline, die objekt- und aktionszentrierte textuelle Konzepte direkt aus Trainingsvideos unter Verwendung schwacher Überwachung durch Klassenlabels extrahiert, wodurch die Notwendigkeit manueller Annotation entfällt und die Konzeptabdeckung verbessert wird.

Experimentelle Ergebnisse

Die Autoren evaluierten MoTIF auf vier Benchmarks: Breakfast Actions, HMDB51, UCF101 und Something-Something V2 (SSv2).

Leistung im Vergleich zum Globalen CBM: MoTIF übertrifft einen Globalen CBM (der Fensterrepräsentationen vor der Klassifizierung mittelt) konsistent. Beispielsweise verbesserte MoTIF auf Breakfast Actions die Genauigkeit um 11–18 Prozentpunkte gegenüber dem Globalen CBM und demonstrierte so den Wert einer zeitlich lokalisierten Konzeptmodellierung.
Leistung im Vergleich zu Black-Box-Modellen: Obwohl eine Lücke zu state-of-the-art Black-Box-Modellen (z. B. VideoMAE V2) besteht, schließt MoTIF diese Lücke erheblich, während es die Interpretierbarkeit beibehält. Auf SSv2 erreichte die Space-Time-Variante (MoTIF-ST) 41,9 % Genauigkeit im Vergleich zu 33,6 % für den Globalen CBM.
Zeitliche Sensitivität: Ablationsstudien mit synthetischen Benchmarks und Fenster-Shuffling bestätigten, dass MoTIF sich auf die zeitliche Reihenfolge und nicht auf statische Erscheinungshinweise verlässt, insbesondere bei Datensätzen wie SSv2, bei denen relationale Labels entscheidend sind.
Interventionsanalyse: Destruktive Interventionen (Nullsetzen der Top-Konzepte) reduzierten die Vorhersage-Überschneidung signifikant, während korrigierende Interventionen (Bearbeiten von Konzepten) Fehlklassifizierungen erfolgreich reparierten und den kausalen Zusammenhang zwischen Konzepten und Vorhersagen validierten.
Trade-offs: Die Autoren verweisen auf einen kontrollierbaren Trade-off: Die Erzwingung diagonaler Attention bewahrt die Interpretierbarkeit, kann jedoch die Genauigkeit auf hochkomplexen Datensätzen im Vergleich zu Varianten mit voller Attention leicht verringern. Vollständige Attention verknüpft jedoch Kanäle und reduziert die Interpretierbarkeit.

Bedeutung und Behauptungen

Die Arbeit positioniert MoTIF als ein prinzipielles Framework zum Erlernen und Erklären zeitlicher Konzeptrepräsentationen. Seine Bedeutung liegt in:

Überbrückung der Lücke: Sie zeigt, dass zeitliches Reasoning in Konzept-Bottleneck-Modelle integriert werden kann, ohne die Konzeptstruktur aufzugeben, und bietet eine viable Alternative zu undurchsichtigen Black-Box-Videoklassifizierern.
Interpretierbarkeit ohne Opfer: Durch die Isolierung des zeitlichen Reasonings pro Konzept ermöglicht MoTIF Benutzern, Fehler auf fehlende oder mehrdeutige zeitliche Konzepte zurückzuführen, anstatt auf undurchsichtige Merkmalsinteraktionen.
Modularität: Das Framework ist mit verschiedenen Embedding-Rückgraten (CLIP, SigLIP, Perception Encoders) und Konzeptentdeckungsmethoden (textuell oder visuell) kompatibel, was darauf hindeutet, dass Verbesserungen der Konzeptqualität und skalierbare Architekturen komplementäre Wege zu besserer Leistung sind.

Die Autoren schließen, dass die Leistung zwar stark von der Konzeptqualität abhängt, MoTIF jedoch eine robuste, interpretierbare Grundlage für das Video-Verständnis bietet, die unter CBMs state-of-the-art-Leistung erreicht und gleichzeitig mit nicht-interpretierbaren Baselines wettbewerbsfähig bleibt.