DeFacto: Counterfactual Thinking with Images for Enforcing Evidence-Grounded and Faithful Reasoning

Stellen Sie sich vor, Sie schreiben einen Test, bei dem Sie Fragen zu einem Bild beantworten müssen. Die meisten intelligenten Computerprogramme (sogenannte Multimodale Large Language Models) sind wie Schüler, die sehr gut darin sind, basierend auf dem, was sie in Büchern gelesen haben, zu raten, aber sie ignorieren oft das eigentliche Bild vor ihnen. Sie könnten Ihnen die richtige Antwort geben, aber aus den falschen Gründen, oder sie könnten sich ganz auf den falschen Teil des Fotos konzentrieren.

Die Arbeit stellt eine neue Methode namens DeFacto (abgekürzt von „De Facto", was „in der Realität" bedeutet) vor, um dies zu beheben. Betrachten Sie DeFacto als einen strengen Lehrer, der den Schüler zwingt, nachzuweisen, dass er tatsächlich auf das Bild schaut, bevor er eine Antwort schreiben darf.

So funktioniert es, aufgeschlüsselt mit einfachen Analogien:

1. Das Problem: Der „Fake-Experte"

Aktuelle KI-Modelle leiden häufig unter drei spezifischen „Betrugs"-Gewohnheiten:

• Der blinde Ratschlag: Sie schauen auf den falschen Teil des Bildes und erhalten die falsche Antwort.
• Der glückliche Ratschlag: Sie schauen auf den falschen Teil des Bildes, erraten aber irgendwie die richtige Antwort (nur durch Glück oder durch Auswendiglernen von Text).
• Der ehrliche Fehler: Sie schauen auf den richtigen Teil des Bildes, erhalten aber trotzdem die falsche Antwort, weil sie die Zusammenhänge nicht herstellen können.

Die Arbeit argumentiert, dass „klug" zu sein nicht ausreicht; die KI muss treu sein, was bedeutet, dass ihre Antwort direkt mit dem verknüpft sein muss, was sie tatsächlich sieht.

2. Die Lösung: Das „Fehlendes-Teil"-Spiel

Um die KI zu lehren, das Betrügen einzustellen, entwickelten die Forscher ein spezielles Trainingsspiel namens Gegenfaktisches Denken. Stellen Sie sich ein Spiel „Wo ist Willi?" vor, aber mit einer Wendung:

• Runde 1 (Der positive Fall): Sie zeigen der KI das vollständige Bild mit den sichtbaren Hinweisen. Sie muss die Hinweise finden (wie einen roten Hut oder ein bestimmtes Schild) und die Frage beantworten. Wenn sie richtig liegt, erhält sie einen goldenen Stern.
• Runde 2 (Der gegenfaktische Fall): Dies ist der magische Teil. Die Forscher nehmen die exakten Hinweise, die die KI benötigt (wie den roten Hut), und bedecken sie mit einem schwarzen Kasten (maskieren sie). Jetzt wird der KI dieselbe Frage gestellt.
  • Wenn die KI trotzdem zu raten versucht, erhält sie eine große Strafe.
  • Wenn die KI sagt: „Ich weiß es nicht, der Hinweis fehlt," erhält sie einen goldenen Stern.
  • Warum das wichtig ist: Dies lehrt die KI, dass, wenn der Beweis nicht vorhanden ist, sie nicht so tun sollte, als wüsste sie die Antwort. Sie lernt, Unwissenheit zuzugeben, anstatt zu halluzinieren.
• Runde 3 (Der Fall der zufälligen Maskierung): Die Forscher bedecken Teile des Bildes, die nicht wichtig sind (wie den Himmel oder einen Baum im Hintergrund). Die KI muss trotzdem korrekt antworten. Dies verhindert, dass die KI lernt, dass „schwarze Kästen" immer „nicht antworten" bedeuten. Sie lernt, zwischen „fehlendem Beweis" und „irrelevantem Hintergrund" zu unterscheiden.

3. Der Trainingsprozess: Die „Bewertete Hausaufgabe"

Die Forscher haben diese Fragen nicht einfach von Hand geschrieben (was ewig dauern würde). Sie bauten eine Roboter-Pipeline, die:

1. Die Frage liest.
2. Automatisch die wichtigen Teile des Bildes findet (wie „den Text auf dem Shirt" oder „die Blätter am Baum").
3. Tausende dieser „Zudeckungs"-Versionen der Bilder erstellt.

Sie erstellten einen massiven Datensatz namens DeFacto-100K (100.000 Beispiele), um die KI zu trainieren.

Anschließend verwendeten sie eine spezielle Trainingsmethode namens GRPO (Group Relative Policy Optimization). Betrachten Sie dies als einen Trainer, der beobachtet, wie die KI das Spiel viermal hintereinander spielt. Wenn die KI in einer Runde besser abschneidet als der Durchschnitt der anderen drei, erhält sie eine Belohnung. Dies hilft der KI, konsistent zu lernen: Immer nach dem Beweis suchen, und wenn er weg ist, sagen „Ich weiß es nicht."

4. Die Ergebnisse: Ein besserer Schüler

Als sie diese neue „DeFacto"-KI gegen andere Top-Modelle testeten:

• Sie beantwortete mehr Fragen richtig.
• Sie war viel schwerer zu täuschen. Wenn der Beweis verborgen war, sagte die DeFacto-KI viel häufiger korrekt „Ich weiß es nicht" als andere Modelle, die weiter rieten.
• Sie war ehrlicher. Sie hörte auf, Gründe für ihre Antworten zu erfinden. Wenn sie auf einen bestimmten Teil des Bildes zeigte, um ihre Antwort zu rechtfertigen, enthielt dieser Teil tatsächlich den Beweis.

Zusammenfassung

Kurz gesagt ist DeFacto eine Trainingsmethode, die KI-Modellen beibringt, ehrliche Detektive zu sein. Anstatt nur die Antwort basierend auf dem zu erraten, was sie denken, könnte wahr sein, werden sie trainiert:

1. Den spezifischen visuellen Beweis zu finden.
2. Wenn der Beweis fehlt, zuzugeben, dass sie es nicht wissen.
3. Wenn der Beweis vorhanden ist, ihn zu verwenden, um ihre Antwort zu beweisen.

Die Arbeit behauptet, dass dies das Schlussfolgern der KI zuverlässiger und in der Realität verankert macht und verhindert, dass sie Geschichten erfindet, die gut klingen, aber nicht wahr sind.