💬 NLP

PolyFrame at MWE-2026 AdMIRe 2: When Words Are Not Enough: Multimodal Idiom Disambiguation

Das Paper stellt PolyFrame vor, ein System für die multimodale Idiom-Auflösung, das durch leichte Module wie idiom-spezifisches Paraphrasieren und Satztyp-Klassifizierung die Leistung von eingefrorenen CLIP-Modellen erheblich steigert, ohne diese neu zu trainieren.

Ursprüngliche Autoren: Nina Hosseini-Kivanani

Veröffentlicht 2026-03-17

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Nina Hosseini-Kivanani

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du bist ein Detektiv, der versuchen muss, ein Rätsel zu lösen. Aber das Rätsel ist nicht nur in einem Buch geschrieben, sondern es gibt auch ein Foto dazu. Und das Tückische ist: Die Wörter auf dem Bild sind oft Lügen!

Das ist genau das Problem, das die Forscherin Nina Hosseini-Kivanani und ihr Team mit ihrem System „PolyFrame" lösen wollten. Sie haben an einem Wettbewerb namens AdMIRe 2 teilgenommen, bei dem es darum ging, zu verstehen, wann Menschen Metaphern benutzen und wann sie es ernst meinen.

Hier ist die Geschichte ihres Systems, einfach erklärt:

1. Das Problem: Wenn Wörter täuschen

Stell dir vor, jemand sagt: „Er ist ein großer Fisch."

Wörtlich gemeint: Ein riesiger Fisch im Wasser.
Übertragen gemeint: Ein sehr wichtiger, mächtiger Mensch in einer Firma.

Künstliche Intelligenzen (KI) sind wie sehr ehrliche, aber etwas naive Schüler. Wenn sie den Satz „großer Fisch" lesen, denken sie sofort an das Wasser und den Fisch. Sie verstehen die Metapher nicht. Das ist wie wenn du einem Roboter sagst „Ich habe die Nase voll", und er sich wirklich Sorgen macht, dass deine Nase überläuft.

Das wird noch schwieriger, wenn man nicht nur Texte, sondern auch Bilder hat. Die KI muss erraten: Zeigt das Bild einen echten Fisch im Wasser oder einen mächtigen Geschäftsmann?

2. Die Lösung: PolyFrame – Der cleere Übersetzer

Das Team hat ein System gebaut, das wie ein mehrsprachiger Dolmetscher mit einem guten Riecher funktioniert. Es läuft in vier einfachen Schritten ab:

Schritt 1: Der Detektiv prüft den Verdacht (Satz-Typ)

Bevor das System überhaupt schaut, ob das Bild passt, fragt es sich: „Ist das hier eine Metapher oder ist es ernst gemeint?"

Es nutzt eine kleine, schnelle Rechenvorhersage (wie ein erfahrener Polizeibeamter), der auf Basis der Wörter entscheidet: „Aha, hier wird sicher metaphorisch gesprochen!" oder „Nein, das ist wörtlich."

Schritt 2: Die Übersetzung für die KI (Idiom-Umschreibung)

Das ist der wichtigste Trick! Wenn das System merkt, es ist eine Metapher („großer Fisch"), dann übersetzt es den Satz für sich selbst, bevor es das Bild sucht.

Statt „großer Fisch" sagt das System intern: „ein sehr wichtiger Mann".
Die Analogie: Stell dir vor, du suchst nach einem Bild für „großer Fisch". Die KI sucht jetzt nicht mehr nach einem Fisch im Wasser, sondern nach einem Bild von einem wichtigen Mann. Plötzlich passt das Bild viel besser!

Schritt 3: Der Vergleich (Bilder und Texte)

Jetzt hat das System drei verschiedene „Augen", die das Bild mit dem (übersetzten) Satz vergleichen:

Das Bild-Augenpaar: Schaut direkt auf das Foto.
Das Text-Augenpaar: Vergleicht den Satz mit den Bildunterschriften (Text unter dem Bild).
Das Misch-Augenpaar: Eine Kombination aus beidem.

Schritt 4: Der Schiedsrichter (Die Abstimmung)

Alle drei „Augen" geben ihre Meinung ab und reihen die Bilder von „passt am besten" bis „passt gar nicht". Ein Schiedsrichter (der sogenannte „Borda-Fusion") zählt die Stimmen zusammen. Wenn zwei Augen sagen „Bild 1 ist toll" und eines sagt „Bild 2", gewinnt Bild 1.

3. Warum ist das so erfolgreich?

Die Forscher haben herausgefunden, dass man keine riesigen, teuren Supercomputer braucht, die man von Grund auf neu trainieren muss (wie einen riesigen Elefanten, den man neu dressieren muss).

Stattdessen reicht es, einen schlauen, kleinen Trick anzuwenden: Die Metapher vorher in eine wörtliche Bedeutung umzuwandeln.

Ohne diesen Trick lag die KI bei nur 6,7 % richtigen Antworten (sie war fast blind).
Mit dem Trick (der „Umschreibung") sprang sie auf 60 % richtige Antworten!

Das ist wie bei einem Puzzle: Wenn du die falschen Teile suchst, kommst du nicht weiter. Aber wenn du die Teile richtig benennst (statt „Fisch" sagst „wichtiger Mann"), findest du das Bild sofort.

4. Das Ergebnis

Das System „PolyFrame" hat gezeigt, dass man auch in vielen verschiedenen Sprachen (nicht nur Englisch, sondern auch Portugiesisch und viele andere) sehr gut verstehen kann, was gemeint ist, ohne die KI komplett neu zu erfinden.

Zusammengefasst:
PolyFrame ist wie ein kluger Assistent, der sagt: „Warte, der Mensch meint das nicht wörtlich! Ich übersetze das gerade für uns, damit wir das richtige Bild finden." Und das funktioniert so gut, dass die KI plötzlich fast so gut ist wie ein Mensch, der die Sprache wirklich versteht.

Problemstellung

Das zentrale Problem, das in diesem Paper adressiert wird, ist die Schwierigkeit multimodaler Modelle, idiomatische Ausdrücke (z. B. „big fish" im Sinne von „wichtigem Mitarbeiter" vs. wörtlich „großer Fisch") korrekt zu interpretieren.

Nicht-kompositionelle Bedeutung: Die Bedeutung von Idiomen lässt sich nicht aus den einzelnen Wörtern ableiten. Modelle, die auf wörtlichen Daten trainiert wurden, neigen dazu, Idiome wörtlich zu interpretieren, was zu semantischen Fehlern in Aufgaben wie Übersetzung, Retrieval und Bildunterschrift-Generierung führt.
Multilinguale Herausforderung: Das Problem verschärft sich in mehrsprachigen Kontexten, da Idiome in verschiedenen Sprachen unterschiedlich lexikalisiert und transparent sind.
Aufgabenstellung (AdMIRe 2.0): Der Wettbewerb besteht aus zwei Teilaufgaben:
- Subtask A: Rangfolge von 5 Bildern basierend auf ihrer Eignung, die intendierte (wörtliche oder idiomatische) Bedeutung eines Satzes mit einem nominalen Kompositum widerzuspiegeln.
- Subtask B: Rangfolge von Bildunterschriften (Captions) anstelle von Bildern, um textbasiertes Schlussfolgern zu testen.

Methodik: Das PolyFrame-System

Das vorgestellte System, PolyFrame, nutzt einen einheitlichen Pipeline-Ansatz, der auf vortrainierten, eingefrorenen Encodern basiert und nur leichte Module trainiert.

1. Architektur und Encodierung:

Vision-Language-Encoder: Es werden eingefrorene CLIP-ähnliche Modelle verwendet (insbesondere SigLIP2 und multilinguales BGE M3).
Kein Fine-Tuning der großen Modelle: Die schweren Encoder werden nicht nachtrainiert. Stattdessen liegt der Fokus auf leichten, trainierbaren Komponenten.

2. Die vierstufige Pipeline (siehe Abbildung 1 im Paper):

Stufe 1: Satztyp-Erkennung (Sentence Typing):
- Das System klassifiziert den Eingabesatz als wörtlich (literal) oder idiomatisch.
- Dies geschieht durch eine Kombination aus einem überwachtem logistischen Regressionsmodell (trainiert auf BGE-M3-Features) und einem „Literal-First"-Prompting-Ansatz mit externen LLMs (z. B. GPT-4o, Qwen3) als Fallback für andere Sprachen.
Stufe 2: Idiom-Umschreibung (Idiom Rewrite):
- Wenn der Satz als idiomatisch erkannt wird, wird das Zielkompositum durch ein kompositionelles Synonym ersetzt, das die figurative Bedeutung explizit macht (z. B. „big fish" $\rightarrow$ „wichtiger Mitarbeiter").
- Bei wörtlichen Sätzen bleibt der Originaltext erhalten.
- Wichtig: Diese Umschreibung ist der Haupttreiber für Leistungssteigerungen.
Stufe 3: Ähnlichkeitsbewertung (Similarity Scoring):
- Drei parallele „Zero-Shot"-Ströme berechnen Ähnlichkeiten:
  1. SigLIP2: Satz $\leftrightarrow$ Bilder.
  2. BGE-M3: Satz $\leftrightarrow$ Bildunterschriften.
  3. SigLIP2: Satz $\leftrightarrow$ Bildunterschriften (via Text-Encoder).
Stufe 4: Borda-Fusion:
- Die Ränge der drei Ströme werden mittels Borda-Count-Fusion (gewichtete Rangaggregation) kombiniert.
- Gewichte für Subtask A (Bild+Text): [0.6 für Visuell, 0.3 für BGE-Text, 0.1 für SigLIP-Text].
- Gewichte für Subtask B (Nur Text): [0.0 für Visuell, 0.7 für BGE-Text, 0.3 für SigLIP-Text].

3. Transfer-Strategien:

Das System nutzt Zero-Shot-Transfer für Sprachen ohne Trainingsdaten (z. B. Portugiesisch), indem es die multilingualen Fähigkeiten von SigLIP2 und BGE M3 ausnutzt.
Bei fehlenden Trainingsdaten für eine Sprache wird auf die englische Übersetzung des Satzes zurückgegriffen, um die Scores zu berechnen.

Hauptbeiträge und Ergebnisse

1. Leistungssteigerung:

Baseline: Ein reiner CLIP-Baseline-Ansatz ohne Anpassungen erreichte nur 26,7 % Top-1 Genauigkeit auf dem englischen Entwicklungssatz und fiel auf 6,7 % im Testset (starke Verzerrung hin zu wörtlichen Interpretationen).
PolyFrame: Durch die Einführung der idiom-sensitiven Umschreibung und der Satztyp-Klassifikation stieg die Top-1-Genauigkeit auf dem englischen Entwicklungssatz auf 60,0 %.
Zero-Shot Transfer: Auf Portugiesisch (ohne spezifisches Training) wurde ebenfalls 60,0 % Top-1 und ein NDCG@5 von 0,822 erreicht.
Multilinguale Blind-Test-Ergebnisse (15 Sprachen):
- Subtask A (Bild+Text): Ø Top-1: 0,35, NDCG: 0,73.
- Subtask B (Nur Text): Ø Top-1: 0,32, NDCG: 0,71.

2. Abhängigkeitsanalyse (Ablation):

Die Idiom-Umschreibung (Synonym-Ersetzung) ist der mit Abstand wichtigste Faktor für die Leistungssteigerung. Sie reduziert die Verzerrung zu wörtlichen Bedeutungen drastisch.
Die Satztyp-Klassifikation verbessert die Stabilität und reduziert die Varianz, trägt aber weniger zur absoluten Genauigkeit bei als die Umschreibung.
Die Multimodale Fusion (Kombination von Bild- und Text-Scores) ist robuster als unimodale Ansätze.

3. Design-Entscheidungen:

Das System verzichtet bewusst auf das Fine-Tuning großer multimodaler Encoder. Stattdessen werden diese eingefroren, und das Lernen beschränkt sich auf leichte Module (Logistische Regression, Fusion-Gewichte). Dies zeigt, dass effektive Idiom-Disambiguierung ohne teures Nachtrainieren großer Modelle möglich ist.

Bedeutung und Fazit

Das Paper demonstriert, dass die Herausforderung der Idiom-Disambiguierung in multimodalen und mehrsprachigen Settings effektiv durch strategische Vorverarbeitung (Umschreibung) und intelligente Fusion gelöst werden kann, ohne die zugrundeliegenden großen Modelle neu zu trainieren.

Praktische Relevanz: Die Methode ist ressourceneffizient und generalisiert gut auf unbekannte Sprachen (Zero-Shot).
Limitationen: Derzeit ist die Datenbank für Idiom-Umschreibungen manuell kuratiert und deckt nur ca. 50 englische Idiome ab, was die Leistung bei seltenen Idiomen oder nicht-englischen Sprachen einschränkt.
Zukunftsausblick: Geplant ist die Erforschung von gelernten Fusionsgewichten und die Integration von Encoder-Modellen (wie BERT) oder Encoder-Decoder-Architekturen, um die Repräsentation figurativer Sprache weiter zu verbessern.

Zusammenfassend beweist PolyFrame, dass das „Verstehen" von Idiomen in KI-Systemen weniger durch größere Modelle, sondern durch besseres Framing des Problems (Explizitmachung der Bedeutung) erreicht werden kann.