Contextualized Evaluation of Vision Language Models through Dynamic, Multi-turn Interactions
Das Papier stellt CEDI vor, ein dynamisches Framework für Interaktionen über mehrere Runden, das die Lücke zwischen statischen Benchmarks und realen Anwendungen schließt, indem es im Vergleich zu konventionellen Evaluierungsmethoden signifikant mehr und immer realistischere visuelle Halluzinationen in Multimodalen Großen Sprachmodellen aufdeckt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, die Welt zu sehen. Lange Zeit haben Wissenschaftler diese Roboter getestet, indem sie ihnen ein einzelnes Bild zeigten und fragten: „Was siehst du?“ Es ist wie ein kurzes Quiz, bei dem der Roboter einen kurzen Aufsatz über ein Foto schreiben muss. Wenn der Roboter die wichtigsten Dinge richtig erkennt, bekommt er eine Eins. Aber in der realen Welt starren wir nicht nur auf Fotos und schreiben Aufsätze. Wir sprechen mit unseren Geräten. Wir fragen: „Ist das ein Hund?“ dann: „Welche Farbe hat sein Halsband?“ dann: „Warte mal, ist das ein Hund oder ein Fuchs?“ Wir führen Gespräche. Wir ändern unsere Meinung. Wir sind verwirrt. Das Problem ist, dass unsere alten „Pop-Quiz“-Tests die Fehler nicht erfassen, die Roboter machen, wenn sie tatsächlich mit uns chatten. Sie könnten das Quiz bestehen, aber das Gespräch vermasseln, indem sie Fakten erfinden, die gar nicht da sind, nur um den Chat am Laufen zu halten. Das ist eine große Sache, denn wenn ein Roboter ein Auto fährt oder einem Arzt hilft, kann das Erfinden von Dingen gefährlich sein. Wir brauchen eine Möglichkeit, sie so zu testen, wie wir sie tatsächlich benutzen: in einem chaotischen Hin und Her im Chat.
Dieses Paper stellt eine neue Methode vor, um diese „Vision Language Models“ (VLMs) zu testen, genannt CEDI. Betrachten Sie CEDI nicht als einen Test, sondern als ein Theaterstück mit drei Personen. Erstens haben Sie den Roboter (das getestte Modell). Zweitens haben Sie den Detektiv (einen automatisierten Prüfer). Drittens haben Sie den Richter (einen Notengeber). Der Detektiv zeigt dem Roboter nicht einfach ein Bild und geht dann weg. Stattdessen erhält der Detektiv eine geheime Karte des Bildes (einen sogenannten „Scene Graph“) und ein spezifisches Ziel, wie zum Beispiel „Finde den Parkplatz“. Der Detektiv beginnt dann ein Gespräch mit dem Roboter und stellt Fragen, die im Verlauf des Chats immer schwieriger und spezifischer werden. Der Detektiv könnte fragen: „Ist da ein rotes Auto?“ und wenn der Roboter mit Ja antwortet, könnte der Detektiv nachhaken: „Welches Modell ist es?“ oder sogar versuchen, den Roboter auszutricksen, indem er fragt: „Warum parkt das blaue Auto dort?“, obwohl es gar kein blaues Auto gibt. Das Ziel ist es zu sehen, ob der Robote anfängt, Dinge zu erfinden (zu halluzinieren), um das Gespräch aufrechtzuerhalten.
Die Autoren fanden heraus, dass diese „Detektiv“-Methode viel besser darin ist, Lügen zu entlarven als der alte „Pop-Quiz“-Stil. Als sie CEDI bei mehreren verschiedenen Robotern anwandten, entdeckten sie, dass die Roboter signifikant mehr gefälschte Details erfanden als die alten Tests zeigten. Beispielsweise fand die neue Methode bei einem Datensatz, dass die „Halluzinationsraten“ der Roboter im Vergleich zu den alten Methoden um 5 bis 23 Prozentpunkte anstiegen. Die Roboter neigten auch viel eher dazu, zu lügen, wenn das Gespräch länger wurde. Es scheint, dass die Roboter im Laufe des Chats durch ihre eigenen vorherigen Antworten verwirrt werden und ihre eigenen Fehler verstärken, wie bei einem Spiel des „Stille Post“, bei dem die Nachricht mit jedem Mal falscher wird.
Das Paper zeigte auch, dass die Roboter schrecklich darin sind, „Ich weiß es nicht“ zu sagen. Wenn der Detektiv eine Frage basierend auf einer falschen Voraussetzung stellte – wie etwa „Was hält der Mann?“, wenn gar kein Mann im Bild ist – versuchten die Roboter oft trotzdem zu antworten und erfanden einen Mann und einen Hut. Sie hatten die größten Schwierigkeiten, wenn sie eine falsche Annahme zurückweisen sollten. Der neue „Richter“ in diesem System, der einen speziellen Graph-Matching-Score verwendet, konnte diese Lügen konsistenter erfassen als bisherige Werkzeuge und stimmte besser mit der Meinung menschlicher Richter überein als die alten Methoden.
Zusammenfassend lässt sich sagen, dass die alte Art, Roboter mit Einzelfragen zu testen, einen riesigen Teil ihrer Probleme übersieht. Durch den Wechsel zu einem dynamischen Multi-Turn-Gespräch, das das echte Leben nachahmt, können wir sehen, dass diese Roboter viel anfälliger dafür sind, Dinge zu erfinden, besonders wenn sie versuchen, ein Gespräch am Laufen zu halten oder wenn sie durch falsche Annahmen getäuscht werden. Die Autoren sagen nicht, dass die Roboter kaputt sind, aber sie sagen, dass wir aufhören müssen, sie wie bei einer stillen Prüfung zu testen und anfangen müssen, sie wie bei einem Gespräch zu testen, denn genau dort verbirgt sich der eigentliche Ärger.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.