Comparative Analysis of LLM-Based Conversational Agents as an Assistive Technology for Web Interaction
Deze studie evalueert de effectiviteit van vier vooraanstaande op LLM gebaseerde conversationele agenten als ondersteunende technologieën voor webnavigatie, waarbij wordt vastgesteld dat zij, hoewel ze een veelbelovend potentieel vertonen om de toegankelijkheid voor diverse gebruikersgroepen te verbeteren door paginastructuren te interpreteren en interacties te begeleiden, hun prestaties aanzienlijk variëren tussen verschillende tools.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je het internet voor als een enorme, bruisende stad. Voor sommige mensen is het wandelen door deze stad gemakkelijk; de straten zijn breed, de borden zijn duidelijk en de gebouwen hebben hellingbanen. Maar voor anderen—zoals ouderen, blinden, of mensen die moderne technologie verwarrend vinden—kan de stad aanvoelen als een doolhof van doodlopende wegen, verborgen deuren en verwarrende bewegwijzering.
Dit artikel is als een veldtest voor een nieuw soort digitale gids. De onderzoekers wilden zien of een specifiek type Kunstmatige Intelligentie (een zogenaamde LLM-gebaseerde Conversational Agent, of "chatbot") als die gids kon fungeren, om iedereen te helpen het web te navigeren door de "blauwdrukken" van een website te lezen en uit te leggen hoe ze daar moeten komen waar ze naartoe willen.
Hier is een eenvoudige uitsplitsing van wat ze hebben gedaan en wat ze hebben gevonden:
Het Probleem: Het Web is een Doolhof
Websites worden complexer. Ze zitten vol met pop-ups, verborgen menu's en ingewikkelde formulieren. Voor iemand die niet technisch onderlegd is of een schermlezer gebruikt (een hulpmiddel dat tekst hardop voorleest), kan het zoeken naar een "Inloggen"-knop of een "Zoekbalk" voelen als het proberen te vinden van een specifieke naald in een hooiberg terwijl je een blinddoek draagt.
De Oplossing: De "Blauwdruk-lezende" Gids
De onderzoekers testten vier populaire AI-chatbots (Copilot, ChatGPT, Gemini en Perplexity). Ze vroegen deze bots niet alleen om te raden hoe een website eruitzag; ze gaven de bots toegang tot de broncode van de website (de ruwe computercode die de pagina opbouwt).
Denk hierover op deze manier:
- De oude manier: Een gids kijkt van buitenaf naar een gebouw en raadt waar de deur zit.
- De nieuwe manier: De gids krijgt de architectonische blauwdrukken van het gebouw overhandigd. Hij kan precies zien waar de deur is, zelfs als deze verborgen is achter een schilderij of een chic gordijn, en hij kan je precies vertellen hoe je hem moet openen.
Het Experiment: Twee Rondes van Testen
De onderzoekers voerden twee "veldtests" uit op 13 verschillende echte websites (zoals Amazon, Wikipedia, overheidswebsites en nieuwsportalen).
Ronde 1 (Eind 2024):
Ze testten eerst Microsoft Copilot. Op dat moment was Copilot uniek omdat het direct de huidige webpagina die je bekeek kon "zien".
- Het resultaat: De bot was verrassend goed. Het kon de pagina beschrijven, verborgen menu's vinden en uitleggen hoe je zoekt of inlogt. Het was als een deskundige lokale bewoner die de kortere routes kende.
- De fout: Wanneer websites rommelig waren of slimme computertrucs gebruikten (zoals het verbergen van menu's achter scripts), raakte de bot soms in de war, net zoals een mens verdwaalt in een verwarrend gebouw.
Ronde 2 (Eind 2025):
Technologie bewoog snel. De onderzoekers testten vier verschillende bots (Copilot, ChatGPT, Gemini en Perplexity) met een nieuwe methode genaamd RAG.
- Wat is RAG? Stel je voor dat de bot niet alleen een eigen geheugen heeft; het heeft een "zoekmachine" eraan vast die direct de blauwdrukken van de huidige website oppakt en aan de bot voert voordat deze antwoordt. Dit laat alle bots de pagina "zien", niet alleen Copilot.
- Het resultaat: Ze stelden de bots meer dan 100 vragen, zoals "Waar is het menu?" of "Hoe koop ik dit?".
Wat Ze Vonden (Het Scorebord)
De onderzoekers traden op als rechters en beoordeelden de bots op een schaal van 0 tot 3 (waarbij 3 een perfect, deskundig antwoord is).
- De Winnaars: Gemini en Copilot waren de beste presteerders. Zij waren de meest betrouwbare gidsen. Ze konden meestal de juiste knoppen vinden, de menu's uitleggen en je precies vertellen hoe je een taak voltooit.
- Analogie: Als de website een complexe puzzel was, konden deze twee bots de puzzel meestal oplossen en de stukjes in de juiste volgorde aan je overhandigen.
- De Runner-up: ChatGPT deed een redelijk werk, maar was iets minder consistent dan de top twee.
- De Strijder: Perplexity had het moeilijker. Het probeerde vaak te antwoorden door het internet te doorzoeken naar algemene informatie, in plaats van strikt naar de specifieks blauwdrukken van de betreffende website te kijken.
- Analogie: Als je Perplexity vroeg: "Waar is de uitgang in dit gebouw?", zou het kunnen zeggen: "Nou, meestal zitten uitgangen in gebouwen aan de linkerkant," in plaats van te kijken naar de specifieke plattegrond die je het gaf.
De "Gotchas" (Valkuilen)
Zelfs de beste bots hadden problemen in bepaalde situaties:
- De "Magische" Deuren: Sommige websites gebruiken complexe computercode om menu's pas te laten verschijnen wanneer je ergens op klikt. De bots misten deze "magische deuren" soms omdat ze moeilijk te lezen waren in de blauwdrukken.
- De "Verboden Toegang" Borden: Sommige websites (zoals Amazon of The Wall Street Journal) hebben beveiligingsbewakers die de bots blokkeren om hun blauwdrukken te lezen. Wanneer dit gebeurde, kon de bot simpelweg geen antwoord geven.
- Hallucinaties: Soms gaf een bot heel zelfverzekerd een telefoonnummer of adres dat helemaal niet op de pagina stond, waardoor hij feiten verzon uit basis van wat hij uit het verleden wist.
De Kern van de Zaak
Het artikel concludeert dat deze AI-chatbots veelbelovende nieuwe hulpmiddelen zijn om mensen te helpen navigeren op het web. Ze zijn nog niet perfect, maar ze zijn veel beter dan gokken.
- Voor de gemiddelde gebruiker: Ze bieden een vriendelijke, conversatiegerichte manier om hulp te krijgen zonder dat je een tech-expert hoeft te zijn.
- Voor mensen met een beperking: Ze zouden uiteindelijk de noodzaak voor een menselijke helper kunnen vervangen, waardoor gebruikers meer onafhankelijkheid krijgen.
De onderzoekers zeggen dat hoewel de technologie nog steeds in ontwikkeling is (zoals een auto die elke maand wordt geüpgraded), het idee om deze "blauwdruk-lezende" gidsen te gebruiken om het internet toegankelijk te maken voor iedereen niet alleen een droom is—het werkt vandaag de dag al.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.