Teaching MLLMs to Say No: Generalized Referring Expression Comprehension via Refusal Calibrated GRPO
Dieses Paper schlägt Refusal-Calibrated Group Relative Policy Optimization (RC-GRPO) vor, eine Reinforcement-Learning-Strategie, die es multimodalen großen Sprachmodellen ermöglicht, nicht existierende Objekte in der verallgemeinerten Referring Expression Comprehension effektiv abzulehnen, ohne dabei ihre Lokalisierungsgenauigkeit bei existierenden Zielobjekten zu beeinträchtigen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie bringen einem Roboter das Spiel „Ich sehe was, was du nicht siehst“ mit einem Menschen bei. Der Mensch zeigt auf ein Bild und sagt: „Finde den roten Ball.“ Wenn der rote Ball dort ist, soll der Roboter direkt darauf zeigen. Aber was ist, wenn der Mensch sagt: „Finde den roten Ball“, das Bild aber tatsächlich eine blaue Katze zeigt? Ein intelligenter Roboter sollte sagen: „Ich kann hier keinen roten Ball finden; es gibt keinen.“ Viele der heutigen superintelligenten Computergehirne (genannt Multimodale Große Sprachmodelle) sind jedoch wie eifrige Schüler, die Angst davor haben, falsch zu liegen. Sie sind so verzweifelt darauf bedacht, eine Antwort zu geben, dass sie einfach raten, wenn sie den roten Ball nicht sehen, auf die blaue Katze zeigen und behaupten: „Hier ist er!“ Das nennt man eine „Halluzination“ – das Erfinden von Fakten, die nicht wahr sind.
Diese Arbeit befasst sich mit einer speziellen, kniffligen Version dieses Problems, der „Generalisierten Referenzexpressions-Verständnis“ (Generalized Referring Expression Comprehension). Das ist eine schicke Art zu sagen: „Kann der Roboter das Objekt finden, wenn es da ist, und kann er ehrlich sagen ‚Ich sehe es nicht‘, wenn es nicht da ist?“ Die Forscher fanden heraus, dass diese Roboter zwar großartig darin sind, Dinge zu finden, aber schrecklich darin sind, zuzugeben, wenn etwas fehlt. Wenn man sie einfach nur dazu trainiert, öfter „Nein“ zu sagen, werden sie zu vorsichtig und hören auf, die Dinge zu finden, die tatsächlich da sind. Das Team brauchte einen Weg, um den Roboter zu lehren, nur dann „Nein“ zu sagen, wenn es wirklich notwendig ist, ohne dass er vergisst, wie man „Ja“ sagt, wenn es richtig ist.
Die Autoren dieser Arbeit schlagen eine clevere neue Trainingsmethode namens Refusal-Calibrated Group Relative Policy Optimization (RC-GRPO) vor. Stellen Sie sich den Lernprozess des Roboters wie ein Spiel aus „Heiß und Kalt“ vor. Normalerweise erhält der Roboter eine Punktzahl basierend darauf, wie nah seine Vermutung ist. Aber wenn das Objekt nicht da ist, rät der Roboter trotzdem weiter, sodass er nie die richtige Antwort lernt. Der erste Trick der Forscher war es, den Roboter während seiner Übungsrunden dazu zu zwingen, „Nichts, ich sehe es nicht“ zu sagen, selbst wenn er eigentlich raten wollte. Dies gab dem Roboter eine klare „Belohnung“ dafür, das Richtige zu sagen, wenn das Objekt fehlte.
Sie stellten jedoch fest, dass, wenn sie den Roboter dafür lobten, „Nichts“ zu sagen, er anfangen würde, für alles „Nichts“ zu sagen, selbst wenn das Objekt da war. Um dies zu beheben, fügten sie eine spezielle Regel hinzu: Wenn der Roboter „Nichts“ sagt, obwohl ein Objekt tatsächlich vorhanden ist, erhält er einen großen Punktabzug. Es ist, als würde man dem Roboter sagen: „Es ist okay zu sagen, dass du den Ball nicht siehst, wenn der Ball nicht da ist, aber wenn du sagst, dass du ihn nicht siehst, obwohl er direkt vor dir steht, verlierst du Punkte.“ Sie fügten auch eine zweite Phase hinzu, in der der Robot erklären muss, warum er glaubt, dass das Objekt fehlt (z. B. „Ich sehe keinen roten Ball, weil es nur eine blaue Katze gibt“). Dies zwingt den Roboter dazu, das Bild tatsächlich zu verstehen, anstatt nur ein Muster auswendig zu lernen.
Die Ergebnisse zeigen, dass diese Methode sehr gut funktioniert. Als sie ihre neue Methode in drei verschiedenen anspruchsvollen Tests testeten, wurden die Roboter sowohl besser darin, Objekte zu finden, als auch darin, sich zu weigern zu raten, wenn diese nicht vorhanden waren. Beispielsweise verbesserte ihre Methode bei einem Test die Gesamtgenauigkeit des Roboters von 45 % auf 62 %, und sie übertraf sogar andere fortgeschrittene Methoden deutlich. Die Arbeit legt nahe, dass dieser Ansatz dem Roboter hilft, ein perfektes Gleichgewicht zu finden: Er hört auf, gefälschte Standorte für fehlende Objekte zu erfinden, ohne jedoch seine Fähigkeit zu verlieren, echte Objekte zu finden. Dies ist ein Schritt hin zu einer KI, die nicht nur intelligent ist, sondern auch ehrlich darüber ist, was sie sieht und was sie nicht sieht.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.