Comparative Analysis of LLM-Based Conversational Agents as an Assistive Technology for Web Interaction
Diese Studie bewertet die Wirksamkeit von vier führenden, auf LLMs basierenden konversationellen Agenten als assistive Technologien für die Web-Navigation und stellt fest, dass sie zwar ein vielversprechendes Potenzial aufweisen, die Barrierefreiheit für diverse Nutzergruppen durch das Interpretieren von Seitenstrukturen und die Anleitung von Interaktionen zu verbessern, ihre Leistung jedoch zwischen den verschiedenen Tools erheblich variiert.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich das Internet als eine riesige, geschäftige Stadt vor. Für manche Menschen ist das Wandern durch diese Stadt einfach; die Straßen sind breit, die Schilder sind klar und die Gebäude haben Rampen. Aber für andere – wie Senioren, blinde Menschen oder diejenigen, die mit moderner Technologie überfordert sind – kann sich die Stadt wie ein Labyrinth aus Sackgassen, versteckten Türen und verwirrenden Schildern anfühlen.
Dieses Papier ist wie ein Feldtest für einen neuen Typ von digitalem Reiseführer. Die Forscher wollten sehen, ob eine bestimmte Art von Künstlicher Intelligenz (ein sogenannter LLM-basierter konversationeller Agent oder „Chatbot“) als dieser Guide fungieren kann, der jedem hilft, das Web zu navigieren, indem er die „Baupläne“ einer Website liest und erklärt, wie man ans Ziel kommt.
Hier ist eine einfache Aufschlüsselung dessen, was sie getan haben und was sie herausgefunden haben:
Das Problem: Das Web ist ein Labyrinth
Websites werden immer komplexer. Sie sind voller Pop-ups, versteckter Menüs und komplizierter Formulare. Für jemanden, der nicht technikaffin ist oder ein Screenreader-Tool (ein Werkzeug, das Text laut vorliest) verwendet, kann die Suche nach einem „Login“-Button oder einer „Suche“-Leiste sich anfühlen wie der Versuch, eine bestimmte Nadel im Heuhaufen zu finden, während man eine Augenbinde trägt.
Die Lösung: Der „Bauplan-lesende“ Guide
Die Forscher testeten vier beliebte KI-Chatbots (Copilot, ChatGPT, Gemini und Perplexity). Sie baten diese Bots nicht einfach nur darum, zu raten, wie eine Website aussieht; sie gaben den Bots Zugriff auf den Quellcode der Website (die rohen Computerinstruktionen, die die Seite aufbauen).
Man kann es sich so vorstellen:
- Der alte Weg: Ein Guide betrachtet ein Gebäude von außen und rät, wo die Tür ist.
- Der neue Weg: Dem Guide werden die architektonischen Baupläne des Gebäudes überreicht. Er kann genau sehen, wo die Tür ist, selbst wenn sie hinter einem Gemälde oder einem schicken Vorhang versteckt ist, und er kann einem genau sagen, wie man sie öffnet.
Das Experiment: Zwei Runden Testbetrieb
Die Forscher führten zwei „Feldtests“ auf 13 verschiedenen realen Websites durch (wie Amazon, Wikipedia, Regierungsseiten und News-Portale).
Runde 1 (Spät 2024):
Die Forscher testeten zuerst Microsoft Copilot. Zu diesem Zeitpunkt war Copilot einzigartig, weil er die aktuelle Webseite, die man gerade ansah, direkt „sehen“ konnte.
- Das Ergebnis: Der Bot war überraschend gut. Er konnte die Seite beschreiben, versteckte Menüs finden und erklären, wie man sucht oder sich einloggt. Es war wie ein kundiger Einheimischer, der die Abkürzungen kennt.
- Der Fehler: Wenn Websites unordentlich waren oder komplizierte Computertricks verwendeten (wie das Verbergen von Menüs hinter Skripten), geriet der Bot manchmal in Verwirrung, ganz ähnlich wie ein Mensch, der sich in einem verwirrenden Gebäude verirrt.
Runde 2 (Spät 2025):
Die Technologie bewegte sich schnell. Die Forscher testeten vier verschiedene Bots (Copilot, ChatGPT, Gemini und Perplexity) mit einer neuen Methode namens RAG.
- Was ist RAG? Stellen Sie sich vor, der Bot hat nicht nur sein eigenes Gedächtnis; er hat eine „Suchmaschine“ angehängt, die sofort die Baupläne der aktuellen Website abruft und dem Bot füttert, bevor er antwortet. Dies ermöglicht es allen Bots, die Seite zu „sehen“, nicht nur Copilot.
- Das Ergebnis: Sie stellten den Bots über 100 Fragen, wie zum Beispiel „Wo ist das Menü?“ oder „Wie kaufe ich das?“.
Was sie herausfanden (Die Bewertung)
Die Forscher fungierten als Richter und bewerteten die Bots auf einer Skala von 0 bis 3 (wobei 3 eine perfekte, Experten-Antwort ist).
- Die Gewinner: Gemini und Copilot waren die leistungsstärksten Performer. Sie waren die zuverlässigsten Reiseführer. Sie konnten in der Regel die richtigen Buttons finden, die Menüs erklären und genau sagen, wie man eine Aufgabe erledigt.
- Analogie: Wenn die Website ein komplexes Puzzle war, konnten diese beiden Bots es meist lösen und einem die Teile in der richtigen Reihenfolge überreichen.
- Der Zweitplatzierte: ChatGPT machte einen ordentlichen Job, war aber etwas weniger konsistent als die beiden Spitzenreiter.
- Der Schwierling: Perplexity hatte es schwerer. Es versuchte oft, die Antwort durch eine Suche im Internet nach allgemeinen Informationen zu finden, anstatt strikt nach den spezifischen Bauplänen der Website zu schauen.
- Analogie: Wenn man Perplexity fragte: „Wo ist der Ausgang in diesem Gebäude?“, könnte es antworten: „Nun, normalerweise haben Gebäude Ausgänge auf der linken Seite“, anstatt den spezifischen Grundriss zu betrachten, den man ihm gegeben hat.
Die „Fallstricke“
Selbst die besten Bots hatten in bestimmten Situationen Probleme:
- Die „magischen“ Türen: Einige Websites nutzen komplexen Computercode, um Menüs erst erscheinen zu lassen, wenn man etwas anklickt. Die Bots übersahen diese „magischen Türen“ manchmal, weil sie im Bauplan schwer zu lesen waren.
- Die „Betreten verboten“-Schilder: Einige Websites (wie Amazon oder die Wall Street Journal) haben Sicherheitswächter, die die Bots daran hindern, ihre Baupläne zu lesen. Wenn dies geschah, konnten die Bots schlichtweg nicht antworten.
- Halluzinationen: Gelegentlich gab ein Bot selbstbewusst eine Telefonnummer oder Adresse an, die gar nicht auf der Seite stand, und erfand Fakten basierend auf dem, was er aus der Vergangenheit wusste.
Das Fazit
Das Papier kommt zu dem Schluss, dass diese KI-Chatbots vielversprechende neue Werkzeuge sind, um Menschen bei der Navigation im Web zu helfen. Sie sind noch nicht perfekt, aber sie sind viel besser als bloßes Raten.
- Für den Durchschnittsnutzer: Sie bieten eine freundliche, konversationelle Möglichkeit, Hilfe zu erhalten, ohne ein Technikexperte sein zu müssen.
- Für Menschen mit Behinderungen: Sie könnten in Zukunft einen menschlichen Helfer ersetzen und den Nutzern mehr Unabhängigkeit ermöglichen.
Die Forscher sagen, dass sich die Technologie zwar noch in der Entwicklung befindet (wie ein Auto, das jeden Monat aufgerüstet wird), aber die Idee, diese „Bauplan-lesenden“ Guides zu nutzen, um das Internet für alle zugänglich zu machen, ist nicht nur ein Traum – es funktioniert bereits heute.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.