Comparative Analysis of LLM-Based Conversational Agents as an Assistive Technology for Web Interaction
Cette étude évalue l'efficacité de quatre agents conversationnels de premier plan basés sur les LLM en tant que technologies d'assistance pour la navigation web, concluant que, bien qu'ils démontrent un potentiel prometteur pour améliorer l'accessibilité pour divers groupes d'utilisateurs en interprétant les structures de pages et en guidant les interactions, leurs performances varient considérablement d'un outil à l'autre.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez l'internet comme une ville immense et bouillonnante. Pour certains, parcourir cette ville est facile : les rues sont larges, les panneaux sont clairs et les bâtiments sont dotés de rampes. Mais pour d'autres — comme les seniors, les personnes aveugles ou ceux qui trouvent la technologie moderne déroutante — la ville peut ressembler à un labyrinthe d'impasses, de portes cachées et de signalisations confuses.
Ce document est comme un test sur le terrain pour un nouveau type de guide touristique numérique. Les chercheurs ont voulu voir si un type spécifique d'intelligence artificielle (appelée agent conversationnel basé sur un LLM, ou « chatbot ») pouvait agir comme ce guide, en aidant n'importe qui à naviguer sur le web en lisant les « plans » d'un site web et en expliquant comment arriver là où la personne doit aller.
Voici une décomposition simple de ce qu'ils ont fait et de ce qu'ils ont trouvé :
Le Problème : Le Web est un Labyrinthe
Les sites web deviennent de plus en plus complexes. Ils sont remplis de fenêtres contextuelles (pop-ups), de menus cachés et de formulaires compliqués. Pour quelqu'un qui n'est pas expert en technologie ou qui utilise un lecteur d'écran (un outil qui lit le texte à haute voix), trouver un bouton « Connexion » ou une barre de « Recherche » peut donner l'impression de chercher une aiguille dans une botte de foin tout en portant un bandeau sur les yeux.
La Solution : Le Guide qui « Lit les Plans »
Les chercheurs ont testé quatre chatbots populaires (Copilot, ChatGPT, Gemini et Perplexity). Ils n'ont pas seulement demandé à ces bots de deviner l'apparence d'un site ; ils ont donné aux bots accès au code source du site web (les instructions informatiques brutes qui construisent la page).
Voyez cela de cette façon :
- L'ancienne méthode : Un guide regarde un bâtiment de l'extérieur et devine où se trouve la porte.
- La nouvelle méthode : On remet au guide les plans architecturaux du bâtiment. Il peut voir exactement où se trouve la porte, même si elle est cachée derrière un tableau ou un rideau élégant, et il peut vous dire exactement comment l'ouvrir.
L'Expérience : Deux Tours de Test
Les chercheurs ont mené deux « tests sur le terrain » sur 13 sites web réels différents (comme Amazon, Wikipédia, des sites gouvernementaux et des portails d'actualités).
Tour 1 (Fin 2024) :
Ils ont d'abord testé Microsoft Copilot. À l'époque, Copilot était unique car il pouvait « voir » directement la page web que vous consultiez.
- Le Résultat : Le bot était étonnamment performant. Il pouvait décrire la page, trouver des menus cachés et expliquer comment effectuer une recherche ou se connecter. C'était comme un habitant local instruit qui connaissait les raccourcis.
- Le Bug : Lorsque les sites web étaient désordonnés ou utilisaient des astuces informatiques complexes (comme cacher des menus derrière des scripts), le bot pouvait parfois être confus, tout comme un humain se perdant dans un bâtiment déroutant.
Tour 2 (Fin 2025) :
La technologie a progressé vite. Les chercheurs ont testé quatre bots différents (Copilote, ChatGPT, Gemini et Perplexity) en utilisant une nouvelle méthode appelée RAG.
- Qu'est-ce que le RAG ? Imaginez que le bot ne possède pas seulement sa propre mémoire ; il possède un « moteur de recherche » attaché qui saisit instantanément les plans actuels du site web et les injecte au bot avant qu'il ne réponde. Cela permet à tous les bots de « voir » la page, pas seulement Copilot.
- Le Résultat : Ils ont posé aux bots plus de 100 questions, telles que « Où est le menu ? » ou « Comment puis-je acheter ceci ? ».
Ce qu'ils ont trouvé (Le Tableau de Score)
Les chercheurs ont agi comme des juges, notant les bots sur une échelle de 0 à 3 (où 3 est une réponse parfaite, d'expert).
- Les Gagnants : Gemini et Copilot étaient les plus performants. Ils étaient les guides les plus fiables. Ils pouvaient généralement trouver les bons boutons, expliquer les menus et vous dire exactement comment accomplir une tâche.
- Analogie : Si le site web était un puzzle complexe, ces deux bots pouvaient généralement le résoudre et vous remettre les pièces dans le bon ordre.
- Le Second : ChatGPT a fait un travail correct mais était légèrement moins constant que les deux premiers.
- Celui qui a eu du mal : Perplexity a rencontré plus de difficultés. Il essayait souvent de répondre en effectuant des recherches sur Internet pour obtenir des informations générales plutôt qu'en regardant strictement les plans spécifiques du site web.
- Analogie : Si vous demandiez à Perplexity : « Où est la sortie dans ce bâtiment ? », il pourrait répondre : « Eh bien, habituellement, les bâtiments ont des sorties sur la gauche », au lieu de regarder le plan d'étage spécifique que vous lui avez donné.
Les « Pièges »
Même les meilleurs bots ont rencontré des difficultés dans certaines situations :
- Les Portes « Magiques » : Certains sites web utilisent des codes informatiques complexes pour faire apparaître des menus uniquement lorsqu'on clique sur quelque chose. Les bots ont parfois manqué ces « portes magiques » car elles étaient difficiles à lire dans les plans.
- Les Panneaux « Défense de Pénétrer » : Certains sites web (comme Amazon ou The Wall Street Journal) possèdent des gardiens de sécurité qui bloquent la lecture de leurs plans par les bots. Quand cela arrivait, les bots ne pouvaient tout simplement pas répondre.
- Les Hallucinations : Occasionnellement, un bot donnait avec assurance un numéro de téléphone ou une adresse qui n'était pas réellement sur la page, inventant des faits basés sur ce qu'il savait par le passé.
L'Essentiel
Le document conclut que ces chatbots d'IA sont des outils prometteurs pour aider les gens à naviguer sur le web. Ils ne sont pas encore parfaits, mais ils sont bien meilleurs que de simples suppositions.
- Pour l'utilisateur moyen : Ils offrent un moyen convivial et conversationnel d'obtenir de l'aide sans avoir besoin d'être un expert en technologie.
- Pour les personnes handicapées : Ils pourraient éventuellement remplacer le besoin d'un assistant humain, offrant ainsi plus d'indépendance aux utilisateurs.
Les chercheurs affirment que, bien que la technologie soit encore en pleine évolution (comme une voiture qui est mise à jour chaque mois), l'idée d'utiliser ces guides « lisant les plans » pour rendre l'internet accessible à tous n'est pas seulement un rêve — c'est une réalité aujourd'hui.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.