What Users Leave Unsaid: Under-Specified Queries Limit Vision-Language Models
Die Studie „HAERAE-Vision" zeigt, dass die Leistung von Vision-Language-Modellen in realen Szenarien durch oft unpräzise, informelle Nutzeranfragen stark eingeschränkt wird und dass selbst fortschrittliche Modelle sowie Web-Recherche diese Lücke nicht schließen können, da die Schwierigkeit weniger in der Modellkapazität als vielmehr in der Unterbestimmtheit der natürlichen Anfragen liegt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Titel: Warum KI bei „einfachen" Fragen oft scheitert – Die Geschichte von der ungesagten Hälfte
Stellen Sie sich vor, Sie sind ein sehr intelligenter, aber etwas steifer Bibliothekar (die KI). Ein Besucher kommt herein, zeigt auf ein altes, staubiges Foto und sagt nur: „Was ist das?"
Ein normaler Mensch würde sofort das Foto genauer ansehen, den Kontext erraten (ist es ein altes Haus? Ein Tier? Eine Maschine?) und eine hilfreiche Antwort geben. Unser Bibliothekar-KI hingegen starrt auf das Foto, zuckt mit den Schultern und sagt: „Ich kann das nicht beantworten. Ihre Frage ist zu ungenau. Ich brauche mehr Details!"
Genau dieses Problem untersucht die neue Studie HAERAE-Vision. Hier ist die Erklärung in einfachen Worten:
1. Das Problem: Die „stille" Kommunikation
In der echten Welt fragen Menschen Dinge selten wie ein Computer. Wir sind faul (im positiven Sinne) und nutzen Bilder als Ersatz für Worte.
- Beispiel: Jemand postet ein Foto von einem seltsamen Wurm am Strand und fragt: „Was ist das?"
- Die KI-Problematik: Die KI weiß nicht, ob es ein Wurm ist, ein Pilz oder ein Spielzeug. Sie weiß nicht, ob der Strand in Südkorea liegt oder in Florida. Die aktuellen KI-Tests (Benchmarks) fragen aber immer so: „Bitte identifizieren Sie den Organismus auf dem Bild, der in der Provinz Jeju gefunden wurde." Das ist zu perfekt für die echte Welt.
Die Forscher sagen: Die KI ist nicht dumm, sie ist nur verwirrt, weil wir Menschen so viel „zwischen den Zeilen" (oder zwischen den Bildern) sagen.
2. Der Experiment: Die „Übersetzung"
Die Forscher haben 653 echte Fragen von Koreanern gesammelt (von 86.000 Kandidaten!). Das ist wie ein Filter, der nur die besten, aber auch die chaotischsten Fragen übrig lässt.
Dann haben sie eine clevere Idee gehabt: Sie haben jede dieser ungenauen Fragen von einer KI „übersetzen" lassen, damit sie explizit wird.
- Original: „Was ist das?" (mit Bild eines seltsamen Schneckengehäuses).
- Übersetzt: „Wie heißt dieses schneckenhäusige Tier, das wie ein Wurm aussieht und auf einem Felsen in Jeju gefunden wurde?"
Dann haben sie 45 verschiedene KI-Modelle getestet:
- Mit der ungenauen Frage.
- Mit der übersetzten, klaren Frage.
3. Das Ergebnis: Ein riesiger Unterschied
Das Ergebnis war schockierend, aber logisch:
- Selbst die besten KIs (wie GPT-5 oder Gemini) lagen bei den ungenaufen Fragen unter 50 % richtig. Sie waren ratlos.
- Sobald die Frage klar formuliert war, sprangen die Ergebnisse um bis zu 22 Punkte nach oben!
Die Analogie:
Stellen Sie sich vor, Sie spielen ein Ratespiel.
- Ungenau: „Ich denke an etwas, das rund ist." (Die KI rät: Ein Ball, ein Planet, ein Donut, eine Sonne... sie verliert).
- Explizit: „Ich denke an einen roten Ball, der auf dem Spielfeld liegt." (Die KI rät sofort: Ein Fußball!).
Die Studie zeigt: Ein großer Teil der Schwierigkeit liegt nicht daran, dass die KI nicht „denken" kann, sondern daran, dass sie den Kontext nicht erraten kann, den wir Menschen automatisch mitdenken.
4. Warum Google-Suche nicht hilft
Die Forscher haben auch getestet: Was passiert, wenn die KI bei der ungenauen Frage einfach googelt?
- Ergebnis: Es hilft kaum.
- Warum? Wenn Sie googeln „Was ist das?", weiß die Suchmaschine nicht, wonach sie suchen soll. Sie braucht erst die klaren Begriffe (z. B. „Jeju Island worm-like creature"), die die KI erst selbst aus dem Bild und dem Kontext ableiten müsste. Die KI muss also erst verstehen, was sie suchen soll, bevor sie suchen kann.
5. Der kulturelle Faktor
Ein weiterer Punkt: Viele Fragen basieren auf kulturellem Wissen.
- Ein Bild zeigt eine rote Tüte am Straßenrand. Ein Koreaner weiß sofort: „Das sind Sandsäcke für den Winter."
- Eine KI, die nur mit englischen Daten trainiert wurde, denkt vielleicht: „Das ist eine Mülltüte" oder „Ein Vogelnest".
Selbst wenn die Frage klar ist, fehlt der KI manchmal das „heimische Wissen", das für uns selbstverständlich ist.
Fazit: Was lernen wir daraus?
Diese Studie ist wie ein Spiegel für die KI-Entwickler. Sie sagt:
„Hört auf, KIs nur mit perfekten, schulbuchartigen Fragen zu testen! Das ist wie ein Autotest, bei dem nur auf einer geraden, leeren Autobahn gefahren wird. Aber im echten Leben fahren wir auf kurvigen Straßen mit Regen und anderen Autos."
Die Botschaft: Um KIs wirklich nützlich zu machen, müssen wir sie nicht nur „klüger" machen, sondern sie besser darin schulen, die ungesagten Hinweise und den Kontext zu verstehen, den echte Menschen nutzen. Bis dahin werden sie bei unseren alltäglichen, etwas chaotischen Fragen oft noch ratlos dastehen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.