Omni-Persona: Systematic Benchmarking and Improving Omnimodal Personalization
Dieses Paper führt Omni-Persona ein, den ersten umfassenden Benchmark für omnimodale Personalisierung, der die Evaluierung von Text, Bild und Audio durch eine neuartige Calibrated Accuracy vereinheitlicht und kritische Lücken in den Grounding-Fähigkeiten aktueller Modelle sowie die Limitationen bestehender Post-Training-Methoden wie SFT und RLVR aufzeigt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten einen superintelligenten digitalen Assistenten, der Fotos sehen, Stimmen hören und Text gleichzeitig lesen kann. Dies ist die Welt der „omnimodalen“ KI, in der ein einzelnes Gehirn versucht, die Welt gleichzeitig durch Augen, Ohren und Worte zu verstehen. Aber es gibt einen kniffligen Teil: diesen Assistenten wirklich persönlich zu machen. Sie möchten, dass er Ihr Gesicht in einer Menge erkennt, Ihre Stimme von der eines Fremden unterscheidet und sich an Ihre Lieblingsgeschichten erinnert. Die Realität ist jedoch chaotisch. Manchmal fragen Sie: „Wer ist das?“, und die Person ist gar nicht da. Ein wirklich intelligenter Assistent sollte nicht einfach raten; er sollte wissen, wann er sagen muss: „Ich weiß es nicht.“
Lange Zeit haben Forscher diese Assistenten hauptsächlich mit Bildern und Wörtern getestet und dabei den Teil mit der Stimme ignoriert. Zudem haben sie diese meist in perfekten, sauberen Räumen getestet, in denen die Antwort garantiert vorhanden ist. Dieses Paper stellt einen neuen, härteren Test vor, den Omni-Persona. Denken Sie an diesen Test als einen „Stresstest“ für persönliche KI. Anstatt nur zu fragen: „Hat es die richtige Antwort gefunden?“ (was so ist, als würde man prüfen, ob ein Schüler das Lehrbuch auswendig gelernt hat), fragt dieser Test: „Wusste es, wann es nicht antworten sollte?“ Er prüft, ob die KI mit dem Lärm der realen Welt umgehen kann, in der die Person, nach der man fragt, im Gedächtnisspeicher vielleicht gar nicht existiert.
Das Team hat einen riesigen Spielplatz mit etwa 750 verschiedenen Szenarien gebaut, um zu sehen, wie gut aktuelle KI-Modelle mit diesen Aufgaben umgehen. Sie entwickelten ein System namens Persona Modality Graph, das wie ein riesiges Netz aus Verbindungen funktioniert. Jede Person in der Erinnerung der KI ist ein Knoten mit drei Strängen: einem Foto, einem Audioclip und einer Text-Biografie. Wenn Sie eine Frage stellen, muss die KI den richtigen Strang im Netz finden und den korrekten Faden herausziehen. Der Test umfasst vier Haupttypen von Herausforderungen: das Abgleichen eines Gesichts mit einem Gesicht, einer Stimme mit einer Stimme, eines Texthinweises mit einer Text-Biografie und die schwierigste Aufgabe – die Verwendung eines Texthinweises, um eine Person basierend auf ihrer Stimme oder ihrem Foto zu finden. Entscheidend ist, dass etwa die Hälfte dieser Fragen „Fangfragen“ sind, bei denen die gesuchte Person überhaupt nicht im Gedächtnis vorhanden ist. Das Ziel ist es zu sehen, ob die KI selbstbewusst sagen kann: „Ich kann mich nicht entscheiden“, anstatt sich eine Geschichte auszudenken.
Das Team ließ mehrere berühmte KI-Modelle durch diesen Gauntlet laufen, darunter einige von großen Tech-Unternehmen und einige Open-Source-Modelle. Dabei fanden sie einige überraschende Dinge heraus. Erstens sind die KI-Modelle viel besser darin, Gesichter zu erkennen, als Stimmen. Es ist, als hätten sie scharfe Augen, aber verwaschene Ohren; sie können ein Gesicht leicht identifizieren, werden aber oft bei einer Stimme verwirrt, selbst wenn die Stimme der einzige Hinweis ist. Zweitens macht es die KI nicht immer intelligenter in Bezug auf ihre Persönlichkeit, wenn man sie einfach nur größer macht (also mehr „Gehirnleistung“ oder Parameter hinzufügt). Tatsächlich waren einige der größten Modelle am schlechtesten darin, zu wissen, wann sie schweigen sollten, und halluzinierten (erfanden Dinge), wenn die Antwort nicht vorhanden war.
Das Team testete auch zwei verschiedene Wege, wie man diese Modelle trainieren kann, um besser zu werden. Die erste Methode, genannt SFT (Supervised Fine-Tuning), ist so, als würde man der KI einen riesigen Stapel Karteikarten geben, auf denen die richtigen Antworten stehen. Die Forscher versuchten es mit 1.000 Karten und dann mit 10.000 Karten, aber die KI wurde nicht wesentlich besser darin, die kniffligen Fragen zu den „fehlenden Personen“ zu handhaben. Es scheint, dass das bloße Auswendiglernen von mehr Beispielen der KI nicht beibringt, wie man mit Unsicherheit umgeht.
Die zweite Methode, RLVR (Reinforcement Learning with Verifiable Rewards), ist eher wie ein Videospiel. Die KI versucht zu antworten, und wenn sie richtig liegt, bekommt sie Punkte. Wenn sie falsch rät, verliert sie Punkte. Die Forscher fanden heraus, dass diese Methode die KI viel besser darin machte, die richtigen Antworten zu finden, wenn die Person vorhanden war. Es gab jedoch einen Nebeneffekt: Die KI wurde zu eifrig beim Spielen des Spiels. Sie fing an zu raten, selbst wenn sie die Antwort nicht wusste, nur um Punkte zu sammeln. Dies verschlechterte ihren Wert für die „kalibrierte Genauigkeit“ – ein schicker Begriff dafür, „richtig zu liegen und zu wissen, wann man aufhören muss“. Das Paper legt nahe, dass diese spielähnliche Trainingsmethode der KI zwar hilft, Dinge zu finden, sie aber ein besseres Regelwerk benötigt, um ihr beizubringen, wann sie sagen soll: „Ich weiß es nicht.“
Abschließend kommen die Autoren zu dem Schluss, dass wir noch weit von einer perfekten persönlichen KI entfernt sind. Aktuelle Modelle sind großartig darin, Dinge zu erkennen, wenn sie direkt vor ihnen liegen, aber sie kämpfen mit der chaotischen Realität fehlender Informationen. Sie sind zu selbstbewusst, wenn sie bescheiden sein sollten. Das Paper bietet keine magische Lösung, aber es liefert eine sehr klare Karte darüber, wo die KI scheitert, und zeigt auf, dass der nächste Schritt nicht nur darin besteht, größere Modelle zu bauen, sondern ihnen die Kunst beizubringen, zu wissen, was sie nicht wissen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.