VKnowU: Evaluating Visual Knowledge Understanding in Multimodal LLMs
Das Papier stellt VKnowU vor, einen umfassenden Benchmark zur Evaluierung des visuellen Wissensverständnisses in Multimodalen Großen Sprachmodellen, und schlägt VideoKnow+ vor, ein auf Reinforcement Learning basierendes Modell, das die Leistung auf diesem Benchmark und anderen Videoverständnisaufgaben durch die explizite Einbeziehung von strukturiertem visuellem Wissen signifikant verbessert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten einen sehr klugen Roboterfreund, der Videos ansehen und Fragen dazu beantworten kann. Lange Zeit war dieser Roboter großartig darin, Dinge zu erkennen. Wenn man ihm ein Video von einem Hund zeigt, der einem Ball hinterherjagt, kann er sagen: „Das ist ein Hund“, „Das ist ein Ball“ und „Der Hund rennt“.
Aber es gibt ein Problem: Der Roboter versteht die Welt nicht wirklich so, wie Menschen es tun. Er weiß nicht intuitiv, dass ein Ball zu Boden fällt, wenn man ihn fallen lässt (Gravitation), oder dass ein Glas Becher zerbrechlich ist und zerbrechen könnte, wenn man ihn fallen lässt, oder dass eine Person, die das Gesicht verzieht, wahrscheinlich traurig ist. Er sieht die Pixel, aber er versteht nicht den „gesunden Menschenverstand“, der dahintersteckt.
Dieses Paper stellt eine neue Methode vor, um Roboter diesen fehlenden „gesunden Menschenverstand“ testen und lehren zu können, den die Autoren als Visuelles Wissen bezeichnen.
Das Problem: Der Robot ist „blind“ für den gesunden Menschenverstand
Die Autoren entwickelten einen riesigen Test namens VKnowU (Visual Knowledge Understanding). Stellen Sie sich dies als eine Abschlussprüfung für Roboter vor, aber anstatt Mathematik oder Geschichte geht es darum, wie die Welt funktioniert und wie Menschen denken.
Der Test ist in zwei Hauptfächer unterteilt:
- Weltzentriert (Die Physikklasse): Weiß der Roboter, dass eine schwere Kiste schwerer zu heben ist als eine Feder? Weiß er, dass eine Münze zu Boden fallen wird?
- Menschenzentriert (Die Psychologieklasse): Versteht der Roboter, dass ein Junge, der in ein unordentliches Zimmer blickt, vielleicht plant, noch mehr Unordnung zu stiften? Weiß er, dass Erwachsene, die hereinkommen, vielleicht geschockt sein könnten?
Die Ergebnisse: Als sie diesen Test den klügsten verfügbaren Robotern gaben (wie denen von Google, OpenAI und Open-Source-Teams), schnitten die Roboter schlecht ab. Sie waren besonders schlecht in der „Physikklasse“. Sie konnten die Szene perfekt beschreiben, scheiterten aber daran, vorherzusagen, was als Nächstes passieren würde, oder die Materialien von Objekten zu verstehen. Sie „sahen“ zwar, aber sie „verstanden“ nicht.
Die Lösung: Dem Roboter beibringen, zu „Sehen, Denken, Antworten“
Um dies zu beheben, entwickelten die Autoren eine neue Trainingsmethie namens VideoKnow+. Sie erkannten, dass Roboter versuchten, Antworten basierend auf ihrem Sprachtraining zu erraten (so wie man die Antwort auf ein Rätsel errät, ohne das Bild anzusehen).
Sie führten eine neue Regel für den Roboter ein: „Sehen, Denken, Antworten.“
- Sehen: Bevor der Roboter antwortet, muss er zuerst genau beschreiben, was er im Video sieht, wobei er sich auf die visuellen Hinweise konzentrieren muss.
- Denken: Dann nutzt er diese visuellen Hinweise, um zu schlussfolgern.
- Antworten: Schließlich gibt er die Antwort.
Sie entwickelten auch ein spezielles „Belohnungssystem“. Stellen Sie sich vor, ein Lehrer bewertet den Roboter. Wenn der Roboter versucht, die Antwort nur anhand von Worten zu erraten, gibt der Lehrer ihm eine niedrige Punktzahl. Aber wenn der Roboter eine Beschreibung schreibt, die beweist, dass er die visuellen Beweise gesehen hat (wie „Die Kiste ist aus Holz, also ist sie schwer“), gibt der Lehrer ihm eine hohe Punktzahl. Dies zwingt den Roboter, tatsächlich auf das Video zu achten und nicht nur auf seine interne Datenbank von Fakten.
Das Ergebnis
Nach dem Training mit dieser neuen Methode und einem massiven neuen Video-Datensatz (genannt VKnowQA) wurde der Roboter viel besser.
- Er verbesserte seine Punktzahl im Test für „Visuelles Wissen“ um eine signifikante Spanne.
- Er wurde auch besser in anderen allgemeinen Videotests, was beweist, dass das Lernen, die Welt zu verstehen, ihm in vielen Bereichen hilft.
Das große Ganze
Das Paper argumentet, dass Roboter, um wirklich intelligent zu werden, aufhören müssen, nur „Mustervergleicher“ (Erkennen von Objekten) zu sein, und statfangen müssen, „Weltversteher“ zu werden. Genau wie ein menschliches Kind lernt, dass Feuer heiß und Glas zerbrechlich ist, indem es die Welt beobachtet, müssen auch Roboter diese „visuellen Wahrheiten“ lernen, um die Lücke zwischen dem bloßen Sehen eines Bildes und dem echten Verständnis dessen, was darin geschieht, zu schließen.
Kurz gesagt: Das Paper entwickelte einen Test, um zu zeigen, dass Roboter schlecht im gesunden Menschenverstand sind, und entwickelte dann eine neue Trainingsmethode, die sie zwingt, sich vor dem Raten an den Beweisen zu orientieren, was sie viel klüger und zuverlässiger macht.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.