ScreenParse: Moving Beyond Sparse Grounding with Complete Screen Parsing Supervision
Die Arbeit stellt ScreenParse vor, einen groß angelegten Datensatz mit dichten Annotationen von 21 Millionen UI-Elementen über 771.000 Screenshots hinweg, sowie ScreenVLM, ein kompaktes Modell, das auf diesen Daten trainiert wurde und bei der Bildschirmparsing-Aufgabe größere Foundation-Modelle deutlich übertrifft sowie durch übertragbare strukturelle Priors die Grounding-Fähigkeiten verbessert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das große Problem: Der „Scheinwerfer" vs. der „ganze Raum"
Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, wie er sich in einem belebten Wohnzimmer zurechtfindet.
- Der alte Weg (Sparse Grounding): Die meisten aktuellen KI-Trainings sind wie das Hineinscheinen eines Scheinwerfers auf genau ein Objekt zur gleichen Zeit. Wenn die Anweisung lautet „Nehmen Sie die Fernbedienung auf", lernt der Roboter nur, wie die Fernbedienung aussieht. Er ignoriert den Couchtisch, die Lampe, den Teppich und den Fernseher. Wenn Sie ihn dann bitten, „auf die Couch zu setzen", gerät er möglicherweise in Verwirrung, weil er nie gelernt hat, wo die Couch ist oder wie sie aussieht. Er kennt nur die spezifischen Dinge, nach denen er angewiesen wurde zu suchen.
- Der neue Weg (ScreenParse): Dieses Papier argumentiert, dass wir, um einen wirklich intelligenten Computer-Agenten zu schaffen, das Deckenlicht einschalten und dem Roboter den ganzen Raum auf einmal zeigen müssen. Wir müssen ihm jedes einzelne Objekt beibringen, wo es sich befindet, wie es heißt und was es sagt, alles gleichzeitig.
Die Lösung: ScreenParse (Die „Super-Karte")
Die Autoren haben einen riesigen neuen Datensatz namens ScreenParse erstellt. Stellen Sie sich dies als eine riesige, ultra-detaillierte Karte des Internets vor.
- Was ist darin? Es enthält 771.000 Screenshots von Websites.
- Wie detailliert ist sie? Im Gegensatz zu früheren Karten, die nur die „wichtigen" Buttons markierten, markiert diese Karte alles. Sie identifiziert 21 Millionen einzelne Elemente (wie Buttons, Textfelder, Bilder, Logos) und kennzeichnet sie mit einem von 55 verschiedenen Typen.
- Die Skalierung: Es ist wie eine Karte zu haben, die nicht nur die Hauptstraßen zeigt, sondern auch jedes einzelne Haus, jeden Briefkasten, jeden Baum und jedes Straßenschild in einer ganzen Stadt.
Wie sie es gemacht haben: Die „Webshot"-Fabrik
Sie könnten fragen: „Wie haben sie 21 Millionen Elemente beschriftet? Haben sie eine Million Leute eingestellt?"
Nein. Sie bauten eine automatisierte Fabrik namens Webshot.
- Der Crawler: Er besuchte 1 Million verschiedene Websites (wie ein Tourist, der Fotos von jeder Straße macht).
- Der Scanner: Er nutzte ein Computerprogramm, um automatisch jedes sichtbare Element auf der Seite zu finden (wie ein Staubsaugerroboter, der jeden Staubwischen sieht).
- Der Editor (der „Richter"): Da Computer Fehler machen können (wie das Markieren eines Schattens als Button), nutzten sie eine intelligente KI (ein Vision Language Model), die als „Qualitätsrichter" fungierte. Sie sah sich die Arbeit des Computers an, korrigierte die Beschriftungen und verworfen alle Screenshots, die unordentlich oder verwirrend waren.
Der Star-Spieler: ScreenVLM (Der „kompakte Experte")
Mit dieser neuen „Super-Karte" trainierten sie ein neues KI-Modell namens ScreenVLM.
- Die Analogie: Stellen Sie sich eine Bibliothek vor. Die großen Basis-Modelle (wie Qwen oder InternVL) sind wie riesige, schwere Enzyklopädien. Sie wissen viel, sind aber schwer zu tragen und teuer im Einsatz.
- ScreenVLM ist wie ein taschengroßer, hochspezialisierter Feldführer. Es ist viel kleiner (nur 316 Millionen Parameter), aber weil es auf der „Super-Karte" trainiert wurde, ist es unglaublich gut darin, das Layout eines Bildschirms zu verstehen.
- Das Geheimnis: Sie lehrten ScreenVLM, besonders auf die „Struktur" der Seite zu achten (wo Dinge sind und was sie sind), anstatt nur den Text zu lesen. Es ist wie einem Schüler beizubringen, den Grundriss eines Gebäudes auswendig zu lernen, nicht nur die Worte auf den Schildern.
Die Ergebnisse: Warum es wichtig ist
Das Papier testete diesen neuen Ansatz auf drei Arten:
- Der Test: Sie baten die Modelle, den gesamten Bildschirm zu beschreiben. ScreenVLM war viel besser darin, alles zu finden (60 % Genauigkeit) im Vergleich zu den großen, schweren Modellen (die nur etwa 30 % Genauigkeit erreichten).
- Die Übertragung: Sie nahmen andere große Modelle und gaben ihnen einen „Intensivkurs" mit der ScreenParse-Karte. Plötzlich wurden diese großen Modelle auch viel besser im Verstehen von Bildschirmen. Dies beweist, dass das Lernen des „ganzen Raums" eine Fähigkeit ist, die jedem Roboter hilft, nicht nur dem, den sie gebaut haben.
- Geschwindigkeit: Da ScreenVLM klein ist, läuft es 4-mal schneller als die großen Modelle. Das bedeutet, es könnte potenziell auf einem normalen Laptop oder Handy laufen, nicht nur in einem riesigen Rechenzentrum.
Das Fazit
Das Papier behauptet, dass wir, um bessere Computer-Agenten zu bauen, aufhören müssen, sie zu lehren, nur nach einer Sache zur gleichen Zeit zu suchen. Stattdessen sollten wir sie lehren, das ganze Bild auf einmal zu sehen. Indem sie einen massiven Datensatz erstellten, der jeden einzelnen Pixel und jedes Element auf einem Bildschirm beschriftet, bauten sie eine kleine, schnelle und unglaublich intelligente KI, die Computerbildschirme besser versteht als die aktuellen Giganten.
Was das Papier NICHT behauptet:
- Es wird nicht behauptet, dass dies bereits perfekt auf mobilen Apps oder Desktop-Software funktioniert (der Fokus lag hauptsächlich auf Websites).
- Es wird nicht behauptet, dass dies alle Roboterprobleme löst, sondern nur, dass es verbessert, wie Roboter einen Bildschirm „sehen" und „verstehen", bevor sie handeln.
- Es werden keine medizinischen oder klinischen Anwendungen erwähnt; der Fokus liegt streng auf Benutzeroberflächen (GUIs) und Webseiten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.