Resumo Técnico: Modelos de Linguagem de Grande Escala para Acessibilidade Web: Uma Revisão Sistemática da Literatura

Declaração do Problema

A acessibilidade web continua sendo implementada de forma inconsistente na web, exigindo frequentemente expertise especializada e manutenção sustentada que são difíceis de escalar em ambientes de desenvolvimento de ritmo acelerado. Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham demonstrado potencial no suporte a tarefas relacionadas à acessibilidade — como a geração de texto alternativo, a detecção de violações e a remediação de código —, o cenário de pesquisa está fragmentado. Estudos existentes frequentemente focam em configurações de problemas estreitas, tecnologias específicas ou técnicas de avaliação isoladas. Além disso, a acessibilidade é operacionalizada de forma inconsistente, com padrões e práticas de validação variáveis. Essa fragmentação impede uma compreensão coesa de como os LLMs contribuem para ou potencialmente prejudicam a acessibilidade web, particularmente no que diz respeito ao risco de "conformidade alucinada" ou correções superficiais que poderiam prejudicar desproporcionalmente usuários com deficiência.

Metodologia

Este estudo conduz uma Revisão Sistemática da Literatura (SLR) para sintetizar evidências sobre o uso de LLMs na acessibilidade web. O processo de revisão seguiu três fases: planejamento, execução e síntese.

• Estratégia de Busca: Os autores consultaram seis bibliotecas digitais (ACM, IEEE Xplore, Web of Science, Scopus, Science Direct, Springer Link) usando uma string de busca finalizada combinando termos para "acessibilidade web" e "Modelos de Linguagem de Grande Escala" (incluindo sinônimos como "IA generativa", "modelos de base" e nomes específicos de modelos).
• Critérios de Seleção: Os critérios de inclusão exigiram publicações revisadas por pares, em inglês, abordando LLMs no contexto da acessibilidade web. Os critérios de exclusão removeram literatura cinzenta, trabalhos não revisados por pares e estudos focados em acessibilidade fora da web ou em LLMs sem foco em acessibilidade.
• Processo de Filtragem: Um conjunto inicial de 807 publicações foi reduzido através da remoção de duplicatas, triagem de título/resumo e revisão de texto completo. O método de bola de neve (backward e forward snowballing) foi aplicado aos estudos selecionados.
• Conjunto de Dados Final: A revisão culminou em um conjunto final de 33 estudos primários (notados como 38 no resumo e na conclusão, provavelmente devido a uma discrepância de contagem no texto versus figura, mas a seção de metodologia afirma explicitamente que 33 estudos primários formaram a base da análise).
• Síntese: Os dados foram extraídos e categorizados com base em cinco Questões de Pesquisa (RQs) cobrindo tipos de aplicação, adesão a padrões, arquiteturas técnicas, questões específicas de acessibilidade e métodos de avaliação.

Principais Contribuições

O artigo fornece uma caracterização estruturada do estado atual da pesquisa em acessibilidade web apoiada por LLMs. Suas principais contribuições incluem:

1. Uma Síntese Sistemática: Uma revisão de 33 estudos revisados por pares mapeando o cenário de aplicações de LLMs na acessibilidade web.
2. Caracterização Técnica: Uma análise dos modelos de LLM dominantes, estratégias de prompt e arquiteturas de sistema utilizadas no campo.
3. Análise de Padrões e Lacunas: Uma avaliação de como os padrões de acessibilidade (WCAG, COGA) e os grupos de deficiência são cobertos, destacando desequilíbrios significativos.
4. Crítica de Avaliação: Uma síntese das práticas de avaliação, notando uma dependência de ferramentas automatizadas e revisões de especialistas em detrimento do envolvimento direto de usuários.
5. Pacote de Replicação: Os autores oferecem um pacote de replicação para futura extensão da pesquisa.

Principais Resultados

1. Tipos de Aplicação (RQ1)

Os LLMs são aplicados principalmente como ferramentas automatizadas e através de estratégias baseadas em prompt (cada uma relatada em 10 estudos). Estes são tipicamente componentes assistivos para geração de conteúdo, identificação de problemas ou remediação de código. Aplicações menos comuns incluem extensões de navegador (5 estudos), abordagens híbridas e agentes LLM (3 estudos cada). Aplicações autônomas e benchmarks são raros. A maioria das aplicações é avaliada em ambientes controlados e específicos de tarefas, em vez de implantações de longo prazo no mundo real.

2. Modelos e Arquiteturas (RQ3)

• Modelos: Há uma forte concentração em LLMs comerciais e de propósito geral. GPT-4 é o modelo mais utilizado (18 estudos), seguido por ChatGPT (11) e Claude (6). Modelos de visão e linguagem (por exemplo, LLaVA) e modelos especificamente ajustados para acessibilidade são raramente utilizados.
• Prompting: As estratégias dominantes são prompts baseados em instruções (10 estudos) e baseados em papel (9 estudos). Técnicas avançadas como autorreflexão, prompting baseado em agentes ou cadeia de pensamento são raras.
• Arquitetura: A maioria dos estudos emprega arquiteturas simples onde um único LLM é invocado através de prompts cuidadosamente elaborados. Sistemas multiagente complexos ou loops de feedback iterativo são explorados com pouca frequência.

3. Questões de Acessibilidade e Padrões (RQ2 & RQ4)

• Padrões: As WCAG (Diretrizes de Acessibilidade para Conteúdo Web) são o quadro de referência dominante, citadas na vasta maioria dos estudos. As COGA (Diretrizes de Acessibilidade Cognitiva) são referenciadas apenas em um pequeno subconjunto de estudos, indicando uma lacuna no tratamento da acessibilidade cognitiva.
• Questões: A questão mais frequentemente abordada é o texto alternativo ausente ou vago para conteúdo não textual (21 estudos). Isso é seguido por contraste de cor insuficiente (16 estudos) e questões estruturais/semânticas, como estruturas de cabeçalho inadequadas e rótulos ausentes.
• Riscos Emergentes: A revisão identifica modos de falha específicos de LLMs não totalmente capturados pelos critérios tradicionais da WCAG, incluindo descrições de imagem alucinadas, uso quebrado de ARIA e falhas de design introduzidas durante a geração automatizada.

4. Práticas de Avaliação (RQ5)

As práticas de avaliação são metodologicamente diversas, mas desiguais. Avaliações empíricas (12 estudos) e avaliações qualitativas (4 estudos) são as mais comuns. No entanto, o envolvimento direto de usuários com deficiência é limitado. Muitos estudos dependem de autores, estudantes ou desenvolvedores como proxies, ou utilizam auditorias automatizadas e inspeções de especialistas. Quando usuários com deficiência são incluídos, os tamanhos de amostra são tipicamente modestos e heterogêneos. Um número significativo de estudos não relata nenhuma informação sobre participantes.

5. Cobertura de Deficiência

A revisão destaca um desequilíbrio na cobertura de deficiências. Deficiências visuais são o grupo mais frequentemente abordado (46,51% dos estudos envolvendo participantes). Deficiências cognitivas, intelectuais e motoras/físicas estão significativamente sub-representadas.

Significado e Alegações

O artigo posiciona-se como uma referência consolidada para pesquisadores e profissionais entenderem o cenário atual da acessibilidade web apoiada por LLMs. Alega que, embora os LLMs mostrem potencial na redução do esforço associado ao trabalho de acessibilidade, o campo é atualmente caracterizado por:

• Foco Orientado a Tarefas: Os LLMs são vistos como ferramentas de aumento para tarefas específicas (por exemplo, geração de texto alternativo) em vez de soluções holísticas e de ponta a ponta para acessibilidade.
• Limitações Orientadas à Conformidade: A pesquisa prioriza fortemente critérios da WCAG facilmente detectáveis (perceptibilidade) em detrimento de necessidades complexas de acessibilidade cognitiva ou experiencial.
• Lacunas de Avaliação: A falta de avaliação rigorosa e centrada no usuário envolvendo pessoas com deficiência limita a validade ecológica das descobertas atuais.

Os autores concluem que a pesquisa futura deve ampliar o escopo para incluir a acessibilidade cognitiva, explorar arquiteturas de sistema mais complexas além de designs de prompt único e adotar métodos de avaliação participativa para garantir que ferramentas baseadas em LLM beneficiem genuinamente usuários com deficiência sem introduzir novos riscos, como conformidade alucinada.