MELLON - Multimodal Enhanced LLM for Online Navigation
Das Papier stellt MELLON vor, ein multimodales Framework, das die Leistung von Web-Navigationsagenten auf dem WebShop-Benchmark durch die Abstimmung von Text und Bildern zur Verbesserung von Schlussfolgerung und Planung signifikant steigert und dabei eine Genauigkeitszunahme von 9,26 % nach nur einer Trainingsepoche erzielt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie bringen einem Roboter das Einkaufen im Internet bei. Sie könnten denken: „Gib ihm einfach die Textanweisungen, wie ‚kaufe ein rotes Hemd‘, und er wird die Website lesen und die Schaltflächen anklicken.“ Aber hier ist der Haken: Websites sind nicht nur Wände aus Text. Sie sind farbenfrohe, visuelle Orte voller Bilder, Layouts und Designs. Wenn Sie einen Menschen bitten, ein bestimmtes Paar Schuhe zu finden, liest er nicht nur die Beschreibung; er schaut auf das Foto, um die Farbe, den Stil und die Form zu sehen. Lange Zeit waren die intelligentesten Computerprogramme, die versuchten, das Web zu navigieren, wie blinde Einkäufer – sie konnten den Text perfekt lesen, aber konnten Bilder nicht „sehen“. Dieses Paper bewegt sich in der Welt der Künstlichen Intelligenz, speziell mit dem Fokus auf „Web Navigation Agents“. Das sind digitale Helfer, die darauf ausgelegt sind, natürliche Sprachbefehle zu verstehen und Aufgaben auf echten Websites auszuführen, wie etwa Artikel zu kaufen oder Tickets zu buchen. Die große Frage, die Forscher stellen, lautet: Können wir diese Agenten lehren, sowohl ihre „Augen“ (um Bilder zu sehen) als auch ihr „Gehirn“ (um Text zu lesen) gleichzeitig zu benutzen, genau wie Menschen es tun?
Die Forscher hinter dieser Studie, die an einem Projekt namens MELLON arbeiteten, entschieden sich, diese Idee in einem simulierten Online-Shop namens WebShop zu testen. Sie wollten sehen, ob die Gabe eines KI-Agenten einer Ansicht der Produktbilder, neben den Textbeschreibungen, ihm helfen würde, bessere Entscheidungen zu treffen. Sie haben nicht nur geraten; sie bauten drei verschiedene experimentelle Werkzeuge, um das Rätsel zu lösen. Das erste, und erfolgreichste, war MELLON selbst. Betrachten Sie MELLON als einen superintelligenten Einkäufer, der eine spezielle Brille trägt, die die visuelle Welt in eine Sprache übersetzt, die das Gehirn der KI verstehen kann. Das Team fand heraus, dass der Agent allein durch ein einziges Lernrunde (einen „Epoch“) signifikant besser bei seiner Arbeit wurde. Konkret stieg die Genauigkeit beim Abschluss von Aufgaben im Vergleich zu einer Basisversion, die nur Text betrachtete, um 9,26 %. Dies deutet darauf an, dass das Mischen von Vision und Text eine kraftvolle Methode ist, um der KI zu helfen, im Web zu navigieren, auch wenn das System noch Wachstumsschmerzen hat.
Die Geschichte ist jedoch kein einfacher „Multimodalität ist immer besser“-Siegeszug. Das Team probierte auch zwei andere kreative Ansätze aus, die nicht so gut funktionierten wie erhofft. Eine Idee war, die Einkaufsaufgabe wie ein „Visual Question Answering“-Spiel (VQAgent) zu behandeln, bei dem die KI ein Bild und eine Frage betrachtet und dann die richtige Antwort auswählt. Sie dachten, dies würde funktionieren, da Einkaufen dem Beantworten von Fragen zu Bildern ähnelt. Aber sie entdeckten, dass im unordentlichen, realen Kontext von WebShop die Textbeschreibungen tatsächlich wichtigere Hinweise enthielten als die Bilder. Weil die KI darauf trainiert war, sich stark auf die Bilder zu verlassen, wurde sie verwirrt, wenn der Text der eigentliche Schlüssel zur Lösung war. Es ist, als würde man versuchen, ein Rätsel zu lösen, indem man ein Zeichnung anstarrt, während die Antwort im Kleingedruckten versteckt ist.
Der dritte Versuch beinhaltete einen „Multimodalen Ranker“, ein Werkzeug, das darauf ausgelegt war, den Agenten dazu zu bringen, innezuhalten und jedes einzelne Objekt auf einer Seite sorgfältig zu vergleichen, anstatt einfach das Erste zu greifen, was er sieht. Die Hoffnung war, dass diese zusätzliche Denkzeit zu besseren Ergebnissen führen würde. Stattdessen zeigte das Experiment, dass diese zusätzliche Vorsicht den Agenten tatsächlich langsamer und ungenauer machte. Die Forscher fanden heraus, dass die Werkzeuge, die zur Messung der Ähnlichkeit zwischen Bildern und Text verwendet wurden (genannt BERT- und CLIP-Scores), nicht gut mit dem überebereinstimmten, was in dem Spiel tatsächlich eine „gute Übereinstimmung“ für ein Produkt ausmachte. Es stellte sich heraus, dass der Versuch, jedes einzelne Angebot zu ranken, so war, als würde ein Einkäufer eine Stunde damit verbringen, jedes Hemd im Laden zu vergleichen, nur um am Ende das falsche zu kaufen, weil er überfordert war.
Was ist also die abschließende Erkenntnis aus diesem digitalen Shopping-Abenteuer? Das Paper legt nahe, dass die Fähigkeit der KI-Agenten, das Web zu „sehen“, ein vielversprechender Weg ist, aber kein Zauberstab ist. Der MELLON-Agent bewies, dass die Abstimmung von Bildern und Text die Leistung steigern kann, aber die anderen Experimente zeigten, dass das bloße Hinzufügen komplexerer visueller Logik oder das Erzwingen, dass der Agent alles ansieht, nicht immer die richtige Strategie ist. Die Forscher kommen zu dem Schluss, dass wir weiter erforschen müssen, wie wir diese visuellen und textuellen Hinweise am besten mischen, vielleicht indem wir die Agenten länger trainieren oder in Zukunft noch intelligentere „Gehirne“ (Large Language Models) verwenden. Für den Moment haben sie gezeigt, dass ein kleines bisschen Vision schon viel bewirkt, aber die KI muss noch lernen, wann genau sie auf das Bild schauen und wann sie das Kleingedruckte lesen muss.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.