Estimating Commonsense Plausibility through Semantic Shifts

1. Problemstellung

Die Schätzung der Alltagsplausibilität (Commonsense Plausibility Estimation, CSPE) ist entscheidend für die Bewertung von Sprachmodellen (LMs). Bisherige generative Ansätze, die auf Wahrscheinlichkeiten (Likelihoods) oder verbalisierten Urteilen (Verbalized Judgments) basieren, stoßen bei der feingranularen Unterscheidung zwischen plausiblen und unplausiblen Aussagen an ihre Grenzen.

• Herausforderung: Generative Methoden neigen dazu, statistische Verzerrungen (Reporting Bias) zu verstärken. Beispielsweise wird ein „schwarzes Schaf" in Texten häufiger erwähnt als ein „weißes Schaf", obwohl Schafe überwiegend weiß sind. Modelle, die auf Token-Wahrscheinlichkeiten trainiert sind, interpretieren dies fälschlicherweise als höhere Plausibilität der Farbe Schwarz.
• Ziel: Entwicklung einer generalisierbaren Methode zur CSPE, die ohne zusätzliche Trainingsdaten (Zero-Shot/Few-Shot) auskommt und feine semantische Nuancen erfasst.

2. Methodik: ComPaSS

Die Autoren stellen ComPaSS (Commonsense Plausibility through Semantic Shifts) vor, einen diskriminativen Rahmen, der die Plausibilität nicht durch Erzeugung, sondern durch Messung von semantischen Verschiebungen quantifiziert.

Das Grundprinzip:
Wenn eine Aussage um alltagsrelevantes Wissen erweitert wird, führt eine plausible Ergänzung zu einer minimalen semantischen Verschiebung, während eine unplausible Ergänzung eine erhebliche semantische Abweichung verursacht.

Der Ablauf:

1. Satzkonstruktion:
   • Ankersatz ($s_{anchor}$): Ein Basissatz, der den Kontext enthält, aber das spezifische Detail weglässt (z. B. „Es gibt ein Schaf").
   • Kandidatensatz ($s_{candi}$): Derselbe Satz, erweitert um das zu bewertende Detail (z. B. „Es gibt ein schwarzes Schaf").
2. Embedding-Erstellung:
   • Beide Sätze werden durch ein vortrainiertes Modell $\theta$ (ein Language Model oder Vision-Language Model) kodiert, um dichte semantische Repräsentationen ($r_{anchor}$ und $r_{candi}$) zu erhalten.
   • Das Framework ist architekturbewusst: Es nutzt je nach Modelltyp (Encoder vs. Decoder) spezifische Strategien zur Extraktion des Satz-Embeddings (z. B. [CLS]-Token, letztes Token oder Prompt-Reps).
3. Bewertung durch Ähnlichkeit:
   • Die Plausibilität wird durch die semantische Ähnlichkeit (z. B. Kosinus-Ähnlichkeit) zwischen dem Anker- und dem Kandidaten-Embedding gemessen.
   • Formel: $p_i^c \propto sim(r_{anchor}, r_{candi})$.
   • Hohe Ähnlichkeit = geringe semantische Verschiebung = hohe Plausibilität.
4. Anwendbarkeit:
   • Funktioniert mit strukturierten Eingaben (Triplets: Objekt-Eigenschaft-Wert) und freien Eingaben (Fragen-Antwort-Paare).
   • Kompatibel mit Encodern (z. B. RoBERTa), Decodern (z. B. LLaMA, Mistral) und Vision-Language-Modellen (VLMs wie CLIP).

3. Wichtige Beiträge

• Paradigmenwechsel: Einführung eines diskriminativen Ansatzes für CSPE, der generativen Methoden überlegen ist, da er direkt semantische Kohärenz misst statt Wahrscheinlichkeiten zu generieren.
• Rolle der Modalität: Demonstration, dass Vision-Language-Modelle (VLMs) textbasierten Modellen überlegen sind, wenn es um visuell fundiertes Alltagswissen geht (z. B. Farben, Formen), da sie den Reporting-Bias von Textdaten durch visuelle Grounding kompensieren.
• Einfluss von Contrastive Learning: Nachweis, dass Modelle, die mit kontrastivem Lernen vortrainiert wurden (z. B. E5-Mistral, gte-Qwen2), deutlich bessere Ergebnisse liefern, da sie feinere semantische Nuancen in ihrem Embedding-Raum besser trennen können.
• Architektur-Unabhängigkeit: ComPaSS funktioniert effektiv mit einer Vielzahl von Backbone-Modellen, von kleinen Encodern bis hin zu großen LLMs und VLMs, ohne taskspezifisches Fine-Tuning.

4. Ergebnisse

Die Evaluation erfolgte auf zwei feingranularen Aufgaben:

1. Attribute Value Ranking: (CoDa, ViComTe) – Rangfolge von Attributen (z. B. Farbe, Form) für Objekte.
2. Commonsense Frame Completion: (CFC) – Rangfolge von Antworten auf offene Fragen.

Kernergebnisse:

• Überlegenheit gegenüber Baselines: ComPaSS erzielt konsistent bessere Ergebnisse als generative Baselines (Likelihood-basiert und verbalisiert), einschließlich spezialisierter Commonsense-Modelle wie VERA und COMET.
• VLMs vs. LMs: Auf visuellen Aufgaben (Farben, Formen) schneiden VLMs (z. B. EVA-CLIP) signifikant besser ab als reine LLMs, selbst wenn die LLMs über mehr Parameter verfügen.
• Effizienz: Encoder-only-Modelle (z. B. RoBERTa) in Kombination mit ComPaSS erreichen vergleichbare oder bessere Ergebnisse als viel größere Decoder-only-LLMs, was auf eine höhere Parameter-Effizienz des diskriminativen Ansatzes hindeutet.
• State-of-the-Art: ComPaSS mit VLMs oder kontrastiv vortrainierten LLMs übertrifft sogar geschlossene Modelle wie GPT-4 in mehreren Aufgaben.
• Beispiel „Schwarzes Schaf": Während GPT-3.5/4 aufgrund von Text-Bias „schwarz" als häufigste Schaf-Farbe einstufen, erkennt ComPaSS (insbesondere mit VLMs) korrekt, dass „weiß" plausibler ist, da die semantische Verschiebung bei „weißes Schaf" geringer ist als bei „schwarzes Schaf".

5. Bedeutung und Fazit

Das Paper zeigt, dass die Messung semantischer Verschiebungen ein robusterer Mechanismus zur Bewertung von Alltagsplausibilität ist als die Generierung von Text oder die Berechnung von Token-Wahrscheinlichkeiten.

• Schlussfolgerung: Diskriminative Methoden sind für feingranulare Plausibilitätsurteile besser geeignet.
• Multimodalität: Visuelle Informationen sind essenziell, um Verzerrungen in reinen Textdaten (Reporting Bias) zu korrigieren.
• Repräsentationsqualität: Die Qualität der semantischen Repräsentation (verbessert durch kontrastives Lernen) ist der entscheidende Faktor für die Genauigkeit der Methode.

ComPaSS bietet somit einen generalisierbaren, effizienten und präzisen Weg, um Alltagswissen aus vortrainierten Modellen zu extrahieren und zu bewerten, ohne auf aufwendiges Fine-Tuning angewiesen zu sein.