WebAccessVL: Violation-Aware VLM for Web Accessibility

Ce papier présente WebAccessVL, un modèle vision-langage capable de corriger automatiquement les violations d'accessibilité WCAG2 dans le code HTML des sites web tout en préservant leur design original, grâce à une synthèse de programme conditionnée par l'image et une stratégie de raffinement itératif intégrant un détecteur de violations.

L'essentiel

Imaginez que vous êtes un architecte de sites web. Votre mission est de rendre votre bâtiment (le site web) accessible à tout le monde, y compris aux personnes qui utilisent des fauteuils roulants, des cannes ou des lunettes spéciales pour voir.

Le problème, c'est que la plupart des architectes actuels (les développeurs) oublient souvent ces règles d'accessibilité. Et quand ils essaient de corriger les erreurs, ils risquent de détruire la beauté du bâtiment en cours de route.

Voici comment WebAccessVL change la donne, expliqué simplement :

1. Le Problème : Un Site Web "Bouché"

Pensez à un site web comme à une maison.

• Les violations d'accessibilité, c'est comme avoir des escaliers trop raides pour un fauteuil roulant, des lumières trop éblouissantes pour les yeux sensibles, ou des portes sans poignées.
• Les outils actuels pour vérifier cela ne regardent que les plans (le code informatique). Ils ne voient pas la maison réelle (l'image que vous voyez à l'écran). Ils peuvent dire "Il manque une poignée" sur le plan, mais ils ne savent pas si la poignée est cachée derrière un tableau ou si la couleur de la porte la rend invisible pour les daltoniens.

2. La Solution : Le "Super-Architecte" (WebAccessVL)

Les chercheurs ont créé un nouveau type d'intelligence artificielle, un Modèle Vision-Langage (VLM).

• L'analogie du double regard : Imaginez un architecte qui a deux yeux.
  • L'un lit les plans techniques (le code HTML).
  • L'autre regarde une photo de la maison finie (l'image du site).
• Ce modèle ne se contente pas de lire le code. Il voit le site. Il comprend que si le texte est gris clair sur un fond blanc, c'est illisible pour quelqu'un qui a des problèmes de vue, même si le code semble "correct" techniquement.

3. Comment ça marche ? (La Méthode du Détective)

Au lieu de demander à l'IA de "deviner" comment réparer le site, les chercheurs lui donnent un rapport de police précis.

1. Le Rapport de Violation : Avant de réparer, un détective (un logiciel de vérification) examine le site et liste les crimes : "Ici, le contraste est trop faible", "Là, il manque une description pour l'image".
2. L'Entraînement Spécifique : L'IA apprend sur un grand livre d'exemples (le dataset WebAccessVL) où des humains ont corrigé ces erreurs en gardant le style original.
3. La Boucle de Réflexion : Si l'IA fait une erreur en réparant (par exemple, elle change une couleur pour le contraste mais casse le design), le détective revient, lui dit : "Attends, tu as créé un nouveau problème ici". L'IA corrige alors sa tirade. C'est comme un jeu de "chaud et froid" jusqu'à ce que tout soit parfait.

4. Le Résultat : Une Maison Réparée sans la Démolir

Les résultats sont impressionnants :

• Avant : Les sites avaient en moyenne 5,3 erreurs d'accessibilité.
• Après WebAccessVL : Il ne reste que 0,21 erreur par site. C'est une réduction de 96 % !
• Le plus important : Contrairement à d'autres IA (comme GPT-5) qui, pour réparer, avaient tendance à reconstruire tout le site de zéro (détruisant le design original), WebAccessVL fait des chirurgies précises. Il change juste la couleur d'un bouton ou ajoute un mot manquant, tout en gardant le site magnifique et fidèle à l'original.

En Résumé

WebAccessVL, c'est comme avoir un médecin très doué pour les sites web.

• Il ne se contente pas de lire les symptômes (le code).
• Il examine le patient (l'image du site).
• Il reçoit un diagnostic précis (le rapport de violation).
• Il opère avec une précision chirurgicale pour guérir le patient sans le défigurer.

Grâce à cette invention, internet peut devenir un endroit où tout le monde, quel que soit son handicap, peut naviguer librement, sans que les développeurs aient besoin d'être des experts en accessibilité. C'est une victoire pour l'inclusion numérique !

Résumé technique

Voici un résumé technique détaillé de l'article "WebAccessVL: Violation-Aware VLM for Web Accessibility", présenté en français.

1. Problématique

L'accessibilité web est un enjeu majeur, défini par les WCAG 2 (Web Content Accessibility Guidelines), pour garantir que le web soit perceptible, utilisable et robuste pour tous, y compris les personnes en situation de handicap. Malgré les obligations légales (ADA aux États-Unis, EAA en Europe), des études montrent que 95,9 % des pages d'accueil contiennent des violations WCAG.

Les approches actuelles reposant sur l'IA (notamment les LLMs textuels) présentent deux limites majeures :

1. Absence de contexte visuel : Elles raisonnent uniquement sur le code source, ignorant l'apparence rendue du site. Or, certaines violations (comme le contraste des couleurs) sont invisibles dans le code mais évidentes visuellement.
2. Altération du design : Les modèles tentant de corriger les violations ont tendance à réécrire entièrement le site, détruisant l'identité visuelle et la structure originale, ce qui rend les solutions inapplicables en production.

L'objectif de ce travail est de développer un système capable de corriger automatiquement les violations WCAG dans le code HTML tout en préservant fidèlement le design et le contenu visuel d'origine.

2. Méthodologie

Les auteurs proposent une approche basée sur un Modèle de Langage et de Vision (VLM) conditionné par les violations, traitant le problème comme une synthèse de programme conditionnée par l'image.

A. Formulation du problème

Le modèle reçoit en entrée :

• Le code HTML source ($x$).
• Une capture d'écran du rendu visuel ($I$).
• Un rapport de violations structuré ($c$) généré par un vérificateur d'accessibilité (ex: IBM Accessibility Checker).

L'objectif est de générer un HTML corrigé ($y$) qui respecte les WCAG 2.0 tout en restant visuellement similaire à l'original.

B. Architecture et Entraînement

1. Conditionnement par les violations : Contrairement aux approches standard (SFT simple), le modèle est entraîné avec un rapport de violations explicite décrivant les erreurs détectées (type, message, localisation). Cela guide le modèle pour qu'il se concentre spécifiquement sur les éléments fautifs plutôt que de faire des modifications génériques.
2. Échantillonnage par guidage négatif (Negative Guidance Sampling) : Inspiré du classifier-free guidance, cette technique amplifie l'effet du conditionnement sur les violations. Lors de l'inférence, le modèle compare les probabilités de tokens avec et sans rapport de violation pour supprimer les tokens qui maintiennent les erreurs et favoriser ceux qui les corrigent.
3. Boucle de vérification (Checker-in-the-Loop) : Une stratégie itérative où le modèle corrige le HTML, puis le vérificateur analyse le résultat. Si des violations subsistent, le nouveau rapport est renvoyé au modèle pour une nouvelle itération. Cela permet de corriger les erreurs induites par la première passe.

C. Le Dataset : WebAccessVL

Pour entraîner ce modèle, les auteurs ont créé un nouveau dataset, WebAccessVL, contenant 1 500 paires de pages web :

• Données brutes : HTMLs provenant d'un dataset existant (WebSight).
• Annotations manuelles : Des experts en informatique ont corrigé manuellement chaque page pour respecter les WCAG 2.0, en veillant à ne pas altérer le design.
• Statistiques : Le dataset contient environ 35,8 % de violations liées à la vision (contraste, texte alternatif, etc.) et 64,2 % liées au langage (structure sémantique, ARIA).

3. Contributions Clés

1. Formulation nouvelle : Traitement de l'accessibilité web comme un problème de synthèse de programme conditionné par l'image, intégrant à la fois le code et le rendu visuel.
2. Modèle WebAccessVL : Proposition d'un VLM conditionné par les violations, utilisant le guidage négatif et une boucle de vérification itérative pour affiner les corrections.
3. Dataset WebAccessVL : Création et publication d'un dataset de référence avec des corrections manuelles de haute qualité pour l'entraînement et l'évaluation.
4. Preuve empirique : Démonstration que les VLMs surpassent les LLMs textuels et que la méthode proposée est nettement supérieure aux modèles commerciaux de pointe (GPT-5, Claude 3.5).

4. Résultats Expérimentaux

Les évaluations ont été menées sur 17 modèles (API commerciaux et modèles open-weight) sur le jeu de test de WebAccessVL.

• Réduction des violations :
  • Les données brutes contiennent en moyenne 5,34 violations par site.
  • La méthode proposée (avec Gemma 3) réduit ce nombre à 0,211 violations, soit une réduction de 96,0 %.
  • Comparé à GPT-5 (1,68 violation), la méthode propose une amélioration de 87 %.
• Préservation du design :
  • Les modèles commerciaux (comme GPT-5) réduisent les violations mais détruisent la structure visuelle (précision structurelle de 0,5 %).
  • La méthode proposée maintient une précision structurelle de 90 % (mesurée par SSIM et distance d'édition d'arbre), prouvant qu'elle corrige l'accessibilité sans casser le design.
• Impact sur les groupes de handicaps :
  • 98,2 % des violations affectant les utilisateurs aveugles ou malvoyants (texte alternatif, ARIA) sont corrigées.
  • 98,2 % des violations pour les utilisateurs avec des limitations motrices (navigation clavier) sont résolues.
• Comparaison VLM vs LLM :
  • Sans fine-tuning, les VLMs ne surpassent pas les LLMs.
  • Avec le fine-tuning (SFT) sur WebAccessVL, les VLMs surpassent significativement les LLMs textuels (réduction supplémentaire de 60 à 77 % des violations), confirmant l'importance cruciale de l'entrée visuelle pour corriger les problèmes de contraste et de mise en page.

5. Signification et Impact

Ce travail représente une avancée significative vers l'automatisation de l'accessibilité web.

• Efficacité technique : Il démontre que l'intégration de la vision et de la compréhension des rapports d'erreurs permet de résoudre des problèmes complexes que les modèles purement textuels ne peuvent pas traiter correctement.
• Praticité : En préservant le design original, la méthode rend les corrections automatiques directement utilisables par les développeurs, évitant le besoin de refontes complètes.
• Accessibilité : En réduisant drastiquement les violations, l'outil contribue à rendre le web plus inclusif pour les personnes en situation de handicap, tout en offrant une alternative open-source et respectueuse de la vie privée par rapport aux services commerciaux.

En conclusion, WebAccessVL établit un nouvel état de l'art en combinant la synthèse de code, la vision par ordinateur et la connaissance des normes d'accessibilité pour créer des solutions web réellement inclusives sans sacrifier l'expérience utilisateur visuelle.