Steering Generative Models for Accessibility: EasyRead Image Generation

1. Problema e Contexto

A comunicação acessível é fundamental para a participação social, especialmente para pessoas com deficiências intelectuais, cognitivas ou baixa alfabetização. O framework EasyRead atende a essa necessidade ao apresentar informações através de frases curtas e pictogramas visuais claros e simplificados.

No entanto, a produção em larga escala de conteúdo EasyRead enfrenta barreiras significativas:

• Custo e Tempo: A criação manual de pictogramas exige expertise de domínio e esforço iterativo, tornando o processo lento e caro.
• Limitações dos Modelos Atuais: Modelos de geração de imagem baseados em difusão (como o Stable Diffusion) tendem a gerar imagens com excesso de detalhes visuais, complexidade estilística e inconsistência, o que viola os princípios do EasyRead (minimalismo, alto contraste e clareza conceitual).
• Falta de Métricas Quantitativas: A avaliação da qualidade de pictogramas é tradicionalmente qualitativa, dependendo de revisões de especialistas ou estudos com usuários, o que dificulta a escalabilidade e a comparação sistemática de soluções automatizadas.

2. Metodologia

Os autores propõem um pipeline unificado para gerar pictogramas no estilo EasyRead, combinando adaptação de modelos de difusão com uma nova métrica de avaliação.

A. Curadoria e Aumento de Dados

• Datasets: O modelo foi treinado em um corpus curado que combina três conjuntos de dados públicos: OpenMoji (emojis vetoriais), ARASAAC (pictogramas para comunicação aumentativa) e LDS (ilustrações de acessibilidade).
• Captioning (Legendação): Como os metadados originais eram insuficientes, utilizou-se o modelo BLIP (Large) para gerar descrições em linguagem natural a partir das imagens brutas, capturando atributos visuais como contagem de objetos, poses e cores.
• Aumento de Dados (Augmentation): Aproveitando as funcionalidades da API do ARASAAC, os dados foram aumentados variando sistematicamente cores de fundo, tons de pele e cores de cabelo. Isso permite que o modelo aprenda a controlar esses atributos durante a inferência.

B. Adaptação do Modelo (Fine-tuning)

• Arquitetura: Utiliza-se o Stable Diffusion v1.5 como base.
• LoRA (Low-Rank Adaptation): Em vez de re-treinar todo o modelo, aplicou-se LoRA nas camadas de atenção do UNet. Isso permite adaptar o estilo do modelo aos pictogramas EasyRead com um número mínimo de parâmetros treináveis, mantendo as capacidades gerais do modelo congelado.
• Token de Instância: Um token sintético único (sks) foi adicionado aos prompts para ensinar o modelo a associar esse token ao estilo "EasyRead". Durante a inferência, a inclusão desse token ativa o estilo aprendido.

C. Métricas de Avaliação: O "EasyRead Score" (ERS)

Para superar a dependência de avaliações qualitativas, os autores formalizaram um conjunto de métricas baseadas em pixels e semântica, combinadas em um EasyRead Score (ERS). O ERS é uma média ponderada de seis sub-métricas normalizadas (0 a 1):

1. Complexidade de Paleta ($s_{palette}$): Penaliza o uso excessivo de cores.
2. Densidade de Bordas ($s_{edges}$): Mede a quantidade de detalhes de linha (quanto menos, melhor para pictogramas).
3. Concentração de Saliência ($s_{saliency}$): Avalia se a atenção visual está focada em um único objeto dominante.
4. Contraste Fundo-Primeiro Plano ($s_{contrast}$): Garante que o objeto se destaque claramente do fundo.
5. Espessura Relativa do Traço ($s_{stroke}$): Verifica a consistência e legibilidade das linhas de contorno.
6. Erro de Centralização ($s_{centering}$): Mede se o conteúdo principal está centralizado na imagem.

A fórmula do ERS é:
$$ERS = 0.25s_{palette} + 0.20s_{edges} + 0.15s_{saliency} + 0.15s_{contrast} + 0.15s_{stroke} + 0.10s_{centering}$$

3. Resultados

O modelo proposto foi comparado com o Stable Diffusion v1.5 (base) e modelos comerciais fechados (Global Symbols e Nano Banana Pro).

• Desempenho Quantitativo:
  • O modelo ajustado com LoRA superou a base em ERS (0.47 vs 0.40), indicando imagens esteticamente mais simples e alinhadas aos princípios de acessibilidade.
  • A Semelhança CLIP (aderência semântica ao prompt) também melhorou significativamente (31.15 vs 24.33), demonstrando que o ajuste fino não comprometeu a capacidade do modelo de seguir instruções textuais.
• Desempenho Qualitativo:
  • O modelo gerou consistentemente atributos controlados (cor de fundo, tom de pele, cor de cabelo) e figuras humanas simples.
  • Comparado a sistemas comerciais, o modelo proposto demonstrou maior consistência estilística e adesão às instruções de cor, embora apresente variabilidade entre diferentes sementes aleatórias (solução: gerar múltiplas amostras e selecionar a melhor).
  • Limitações: O modelo ainda tem dificuldade em preservar detalhes em cenas complexas (ex: múltiplas pessoas) e em capturar nuances de etnia além da cor da pele básica.

4. Contribuições Chave

1. Pipeline de Geração Acessível: Apresentação do primeiro pipeline de código aberto escalável para geração de pictogramas EasyRead, utilizando adaptação leve (LoRA) em modelos de difusão.
2. Métrica EasyRead (ERS): Formalização e introdução de uma métrica quantitativa e reproduzível para avaliar a "facilidade de leitura" visual, permitindo benchmarking sistemático.
3. Validação de Viabilidade: Demonstração de que modelos de difusão modernos podem ser "direcionados" (steered) para atender a restrições cognitivas rigorosas através de fine-tuning em datasets curados.

5. Significado e Impacto

Este trabalho preenche uma lacuna crítica entre a inteligência artificial generativa e a acessibilidade cognitiva. Ao fornecer uma ferramenta automatizada e de baixo custo para criar pictogramas, o estudo potencializa a produção de materiais acessíveis para comunidades carentes, organizações sem fins lucrativos e sistemas de saúde. Além disso, a introdução do EasyRead Score estabelece um novo padrão para a avaliação de modelos de geração de imagem focados em acessibilidade, movendo o campo de avaliações puramente subjetivas para métricas objetivas e escaláveis. O código e os dados foram disponibilizados como open-source para fomentar pesquisas futuras na área.