Perception Test 2025: Challenge Summary and a Unified VQA Extension
Dieser Beitrag fasst die Ergebnisse der Perception-Test-2025-Herausforderung zusammen, die state-of-the-art multimodale Videomodelle auf einem vereinheitlichten Benchmark evaluierte, der konsolidierte Tracks wie vereinheitlichtes Video-QA und Tracking umfasst, um die erheblichen Schwierigkeiten hervorzuheben, mit denen aktuelle Modelle konfrontiert sind, wenn sie diverse Wahrnehmungsaufgaben über eine einzige Schnittstelle bewältigen müssen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich einen riesigen, hochriskanten Talentwettbewerb für computergestütztes Sehen vor, bei dem die Kandidaten jedoch nicht singen oder tanzen, sondern künstliche Intelligenzmodelle sind, die versuchen, die Welt zu „sehen" und zu verstehen. Dieser Bericht ist das Zeugnis der Ausgabe 2025 dieser Show, genannt der Perception Test, der parallel zu einer großen Informatik-Konferenz stattfand.
Hier ist die Aufschlüsselung dessen, was passiert ist, unter Verwendung einfacher Analogien.
Die große Idee: Von spezialisierten Werkzeugen zum Schweizer Taschenmesser
In der Vergangenheit waren KI-Modelle wie spezialisierte Werkzeuge: Ein Modell war hervorragend darin, eine bestimmte Person in einer Menschenmenge zu finden (Tracking), ein anderes war gut darin, zu erkennen, wenn ein Autounfall passierte (Action Detection), und ein drittes konnte gut Fragen zu einem Video beantworten.
Für die diesjährige Herausforderung entschieden sich die Organisatoren, diese „spezialisierten Werkzeuge" nicht mehr zu testen. Stattdessen forderten sie ein Schweizer Taschenmesser. Sie wollten sehen, ob ein einzelnes KI-Modell alles gleichzeitig erledigen konnte, ohne die Rolle zu wechseln. Sie fragten: „Kann ein einziges Gehirn gleichzeitig einen Ball verfolgen, einen Sound hören und eine Frage zur Szene beantworten?"
Die fünf Hauptdisziplinen (Tracks)
Der Wettbewerb umfasste fünf Hauptdisziplinen, die jeweils einen anderen „Muskeln" der KI testeten:
Der vereinheitlichte Video-Quiz (Der „Magisches Auge"-Test):
- Der alte Weg: Um zu testen, ob eine KI einen sich bewegenden Punkt verfolgen konnte, musste man einen spezifischen Tracker bauen.
- Der neue Weg: Die Organisatoren verwandelten diese schwierigen Aufgaben in Multiple-Choice-Fragen. Stellen Sie sich ein Video vor, in dem eine bestimmte Stelle auf einem Tisch grün aufleuchtet. Die KI wird gefragt: „Welcher dieser fünf Punkte war derjenige, der aufgeleuchtet hat?"
- Der Twist: Sie fügten knifflige Fragen hinzu wie „In welcher Reihenfolge sind diese Aktionen passiert?" oder „Welches Objekt tat so, als würde es etwas tun?" Dies zwang die KI, Sprache zu verwenden, um visuelle Rätsel zu lösen.
Die Doppel-Tracking-Herausforderung:
- Die KI musste zwei Dinge gleichzeitig verfolgen: ein ganzes Objekt (wie einen hüpfenden Ball) und einen spezifischen Punkt auf diesem Objekt (wie einen roten Aufkleber auf dem Ball), selbst wenn der Ball hinter einer Wand verschwand (Verdeckung).
Der Sound-und-Aktion-Detektiv:
- Die KI musste ein Video ansehen und sagen: „Genau bei 10 Sekunden hat jemand einen Ball getreten, und man hörte ein dumpfes Geräusch." Sie musste sowohl für die visuelle Aktion als auch für den Sound das Wann und das Was gleichzeitig finden.
Der „Zeigen-und-Klicken"-Detektiv:
- Die KI wurde eine Frage wie „Welcher Hund jagt die Katze?" gestellt und musste nicht nur sagen „Der braune", sondern tatsächlich einen Kasten um diesen spezifischen Hund zeichnen und ihn durch das gesamte Video verfolgen.
Der Marathonläufer (Stundenlange Videos):
- Die meisten KI-Modelle werden müde, nachdem sie einen 30-Sekunden-Clip angesehen haben. Diese Disziplin warf ihnen 1-Stunden-Videos zu. Die KI musste Details vom Anfang behalten, um am Ende eine Frage zu beantworten.
Die Ergebnisse: Eine Geschichte von zwei Geschwindigkeiten
Der Bericht verzeichnet eine faszinierende Spaltung darin, wie gut die KI abgeschnitten hat:
- Die Sprach-Sieger: Wenn die KI Sprache verwenden konnte (Fragen beantworten, Szenen beschreiben), schnitt sie viel besser ab als im Vorjahr. Tatsächlich haben sich die Scores bei den „Zeigen-und-Klicken"- und „Stundenlangen"-Tests fast verdoppelt. Es ist, als hätte die KI plötzlich gelernt, ein Handbuch zu lesen und es auf die visuelle Welt anzuwenden.
- Der „stille" Kampf: Wenn die KI Dinge ohne Sprache tun musste (wie nur einen Punkt zu verfolgen oder einen Sound zu finden), verbesserte sie sich nicht viel. Die besten „Schweizer Taschenmesser"-Modelle dieses Jahres waren tatsächlich langsamer als die spezialisierten „Einzelaufgaben"-Modelle des letzten Jahres.
Das Fazit: Der Bericht kommt zu dem Schluss, dass die KI zwar erstaunlich darin wird, über das zu sprechen, was sie sieht, aber immer noch kämpft, ein einziges, vereinheitlichtes Gehirn zu sein, das alles gleichzeitig perfekt erledigen kann. Das Modell der „allgemeinen Wahrnehmung" ist am Horizont, aber es ist noch nicht ganz da.
Die Gewinner
- Gesamteinreichungen: Über 100 Teams reichten 450 Versuche ein.
- Der Preis: Die Gewinner nahmen insgesamt 47.000 US-Dollar mit nach Hause.
- Top-Performer: Das Team „NJUST_KMG" war ein häufiger Gewinner und belegte Spitzenplätze in den Kategorien Tracking, Sound und stundenlange Videos. Ein anderes Team, „SGVR@KAIST", gewann die Kategorie „Zeigen-und-Klicken".
Auf den Punkt gebracht
Der Perception Test 2025 hat uns gezeigt, dass die KI schnell lernt, über das zu sprechen, was sie sieht, aber sie lernt immer noch, wie man alles gleichzeitig macht, ohne verwirrt zu werden. Die Lücke zwischen „spezialisierten Robotern" und „allgemeiner, menschenähnlicher Wahrnehmung" wird kleiner, aber die Ziellinie ist noch etwas entfernt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.