Technische Samenvatting: Grootte Taalmodellen voor Webtoegankelijkheid: Een Systematische Literatuurstudie

Probleemstelling

Webtoegankelijkheid wordt op het web nog steeds onregelmatig geïmplementeerd, waarbij vaak gespecialiseerde expertise en doorlopend onderhoud vereist zijn die moeilijk schaalbaar zijn in snel veranderende ontwikkelomgevingen. Hoewel Grootte Taalmodellen (LLM's) veelbelovend zijn gebleken bij het ondersteunen van toegankelijkheidsgerelateerde taken—zoals het genereren van alternatieve tekst, het detecteren van schendingen en het herstellen van code—is het onderzoekslandschap gefragmenteerd. Bestaande studies richten zich vaak op smalle probleemstellingen, specifieke technologieën of geïsoleerde evaluatietechnieken. Bovendien wordt toegankelijkheid inconsistent geoperationaliseerd, met variërende standaarden en validatiepraktijken. Deze fragmentatie belemmert een samenhangend begrip van hoe LLM's bijdragen aan of potentieel webtoegankelijkheid ondermijnen, met name wat betreft het risico van "hallucinerende naleving" of oppervlakkige oplossingen die gebruikers met een beperking onevenredig kunnen schaden.

Methodologie

Deze studie voert een Systematische Literatuurstudie (SLR) uit om bewijs te synthetiseren over het gebruik van LLM's in webtoegankelijkheid. Het reviewproces volgde drie fasen: planning, uitvoering en synthese.

• Zoekstrategie: De auteurs doorzochten zes digitale bibliotheken (ACM, IEEE Xplore, Web of Science, Scopus, Science Direct, Springer Link) met behulp van een definitieve zoekstring die termen combineerde voor "webtoegankelijkheid" en "Grootte Taalmodellen" (inclusief synoniemen zoals "generatieve AI", "foundation models" en specifieke modelnamen).
• Selectiecriteria: Opnamecriteria vereisten gepubliceerde, Engelstalige studies die LLM's behandelden binnen de context van webtoegankelijkheid. Uitsluitingscriteria verwijderden grijze literatuur, niet-gepeerde werken en studies die zich richtten op toegankelijkheid buiten het web of LLM's zonder een toegankelijkheidsfocus.
• Filterproces: Een initiële groep van 807 publicaties werd gereduceerd door het verwijderen van dubbele, het screenen van titels/abstracts en het beoordelen van volledige teksten. Backward en forward snowballing werd toegepast op de geselecteerde studies.
• Definitieve dataset: Het review resulteerde in een definitieve set van 33 primaire studies (vermeld als 38 in het abstract en de conclusie, waarschijnlijk vanwege een telverschil in de tekst versus de figuur, maar de methodologiedeel geeft expliciet aan dat 33 primaire studies de basis vormden van de analyse).
• Synthese: Data werd geëxtraheerd en gecategoriseerd op basis van vijf Onderzoeksvragen (RQ's) die toepassingssoorten, naleving van standaarden, technische architecturen, specifieke toegankelijkheidsproblemen en evaluatiemethoden behandelen.

Belangrijkste Bijdragen

Het artikel biedt een gestructureerde karakterisering van de huidige stand van het onderzoek naar LLM-ondersteunde webtoegankelijkheid. De belangrijkste bijdragen zijn:

1. Een Systematische Synthese: Een review van 33 gepubliceerde studies die het landschap van LLM-toepassingen in webtoegankelijkheid in kaart brengen.
2. Technische Karakterisering: Een analyse van de dominante LLM-modellen, prompt-strategieën en systeemarchitecturen die in het veld worden gebruikt.
3. Standaarden en Kruisganganalyse: Een beoordeling van hoe toegankelijkheidsstandaarden (WCAG, COGA) en groepen met een beperking worden behandeld, met nadruk op significante onevenwichtigheden.
4. Kritiek op Evaluatie: Een synthese van evaluatiepraktijken, waarbij wordt opgemerkt dat er een beroep wordt gedaan op geautomatiseerde tools en expertbeoordelingen in plaats van directe betrokkenheid van gebruikers.
5. Replicatiepakket: De auteurs bieden een replicatiepakket voor toekomstige uitbreiding van het onderzoek.

Belangrijkste Resultaten

1. Toepassingssoorten (RQ1)

LLM's worden voornamelijk toegepast als geautomatiseerde tools en via prompt-gebaseerde strategieën (elk gerapporteerd in 10 studies). Dit zijn doorgaans assistieve componenten voor het genereren van content, het identificeren van problemen of het herstellen van code. Minder voorkomende toepassingen omvatten browserextensies (5 studies), hybride benaderingen en LLM-agenten (3 studies elk). Standalone-toepassingen en benchmarks zijn zeldzaam. De meeste toepassingen worden geëvalueerd in gecontroleerde, taakspecifieke settings in plaats van langetermijnimplementaties in de echte wereld.

2. Modellen en Architecturen (RQ3)

• Modellen: Er is een sterke concentratie op commerciële, algemene LLM's. GPT-4 is het meest gebruikte model (18 studies), gevolgd door ChatGPT (11) en Claude (6). Visueel-taalmodellen (bijv. LLaVA) en modellen die specifiek zijn fijnge tuned voor toegankelijkheid, worden zelden gebruikt.
• Prompting: De dominante strategieën zijn instructie-gebaseerde (10 studies) en rol-gebaseerde (9 studies) prompting. Geavanceerde technieken zoals zelfreflectie, agent-gebaseerde prompting of chain-of-thought zijn zeldzaam.
• Architectuur: De meeste studies hanteren eenvoudige architecturen waarbij een enkele LLM wordt aangeroepen via zorgvuldig ontworpen prompts. Complexe multi-agent systemen of iteratieve feedbackloops worden zelden onderzocht.

3. Toegankelijkheidsproblemen en Standaarden (RQ2 & RQ4)

• Standaarden: WCAG (Web Content Accessibility Guidelines) is het dominante referentiekader, geciteerd in het overgrote deel van de studies. COGA (Cognitive Accessibility Guidelines) wordt slechts in een klein subset van studies vermeld, wat wijst op een gat in het aanpakken van cognitieve toegankelijkheid.
• Problemen: Het meest frequent aangepakte probleem is ontbrekende of vage alternatieve tekst voor niet-tekstuele content (21 studies). Dit wordt gevolgd door onvoldoende kleurcontrast (16 studies) en structurele/semantische problemen zoals onjuiste kopstructuren en ontbrekende labels.
• Opkomende Risico's: Het review identificeert LLM-specifieke faalmodi die niet volledig worden gedekt door traditionele WCAG-criteria, waaronder gehallucineerde afbeeldingsbeschrijvingen, gebroken ARIA-gebruik en ontwerpfouten die worden geïntroduceerd tijdens geautomatiseerde generatie.

4. Evaluatiepraktijken (RQ5)

Evaluatiepraktijken zijn methodologisch divers maar ongelijkmatig. Empirische evaluaties (12 studies) en kwalitatieve evaluaties (4 studies) zijn het meest voorkomend. Echter, directe betrokkenheid van gebruikers met een beperking is beperkt. Veel studies vertrouwen op auteurs, studenten of ontwikkelaars als vervangers, of maken gebruik van geautomatiseerde audits en expertinspecties. Wanneer gebruikers met een beperking worden opgenomen, zijn de steekproefgroottes doorgaans bescheiden en heterogeen. Een significant aantal studies rapporteert geen enkele informatie over deelnemers.

5. Dekking van Beperkingen

Het review benadrukt een onevenwicht in de dekking van beperkingen. Visuele beperkingen zijn de meest frequent aangepakte groep (46,51% van de studies met deelnemers). Cognitieve, intellectuele en motorische/lichamelijke beperkingen zijn significant ondervertegenwoordigd.

Betekenis en Claims

Het artikel positioneert zichzelf als een geconsolideerde referentie voor onderzoekers en praktijkmensen om het huidige landschap van LLM-ondersteunde webtoegankelijkheid te begrijpen. Het claimt dat hoewel LLM's veelbelovend zijn in het verminderen van de inspanning die gepaard gaat met toegankelijkheidswerk, het veld momenteel wordt gekenmerkt door:

• Taakgerichte Focus: LLM's worden gezien als hulpmiddelen voor specifieke taken (bijv. het genereren van alt-tekst) in plaats van holistische, end-to-end toegankelijkheidsoplossingen.
• Beperkingen door Naleving: Onderzoek prioriteert zwaar gemakkelijk detecteerbare WCAG-criteria (waarnembaarheid) boven complexe cognitieve of ervaringsgerelateerde toegankelijkheidsbehoeften.
• Evaluatiegaten: Het ontbreken van rigoureuze, gebruikersgerichte evaluatie waarbij mensen met een beperking betrokken zijn, beperkt de ecologische validiteit van huidige bevindingen.

De auteurs concluderen dat toekomstig onderzoek de scope moet verbreden om cognitieve toegankelijkheid te omvatten, meer complexe systeemarchitecturen moet verkennen die verder gaan dan single-prompt ontwerpen, en participatieve evaluatiemethoden moet adopteren om ervoor te zorgen dat LLM-gebaseerde tools gebruikers met een beperking echt ten goede komen zonder nieuwe risico's zoals hallucinerende naleving in te brengen.