TactileEval: A Step Towards Automated Fine-Grained Evaluation and Editing of Tactile Graphics

Resumo Técnico: TactileEval

1. O Problema

Os gráficos táteis (representações em relevo de conteúdo visual para pessoas cegas ou com baixa visão - BVI) exigem validação cuidadosa por especialistas antes de serem distribuídos. O processo atual enfrenta dois desafios principais:

• Validação Manual Intensiva: Especialistas devem inspecionar manualmente a qualidade das linhas, texturas, postura e ruído de fundo, o que é lento e caro.
• Falta de Sinal de Reparo Acionável: Conjuntos de dados existentes, como o TactileNet, fornecem apenas classificações holísticas e grosseiras (ex: "Aceitar", "Rejeitar", "Editar Levemente"). Essas classificações não especificam quais atributos perceptivos estão falhos nem como corrigi-los, impedindo a automação do reparo.

2. Metodologia

O TactileEval propõe um pipeline de três estágios para automatizar a avaliação e a edição de gráficos táteis:

A. Construção de Taxonomia e Dataset (Fase 1)

• Mineração de Comentários de Especialistas: Os autores analisaram comentários em texto livre do dataset TactileNet para identificar falhas recorrentes.
• Taxonomia de 5 Dimensões: Com base nas normas da BANA (Braille Authority of North America), foram definidas cinco dimensões de qualidade:
  1. Correspondência de Visão (View Match): Orientação (frente, lado, topo) em relação à foto de referência.
  2. Partes Necessárias (Required Parts): Presença ou ausência de componentes anatômicos/funcionais.
  3. Identidade e Fundo (Identity & Background): Clareza do objeto e ausência de ruído de fundo.
  4. Separação de Textura (Texture Separation): Diferenciação tátil entre regiões adjacentes.
  5. Qualidade da Linha (Line Quality): Integridade física dos contornos (quebras, borrões, grossura excessiva).
• Coleta de Dados (AMT): Foram coletadas 14.095 anotações estruturadas via Amazon Mechanical Turk (AMT). O processo envolveu:
  • 66 classes de objetos agrupadas em 6 famílias (Animais, Alimentos, Veículos, etc.).
  • 30 tarefas distintas (combinação de 6 famílias × 5 dimensões).
  • Controle de qualidade rigoroso: testes de qualificação, amostras de ouro (gold samples) e agregação de votos de 7 trabalhadores (consenso majoritário).

B. Avaliador Baseado em ViT (Fase 2)

• Arquitetura: Um probe (sonda) de características baseado no modelo ViT-L/14 (frozen CLIP).
• Entrada: O modelo recebe embeddings de:
  1. Imagem natural de referência.
  2. Desenho tátil.
  3. Diferença elemento a elemento entre as duas imagens.
  4. Embedding de texto da instrução da tarefa (ex: "Falta textura na cauda?").
• Treinamento: Um MLP (Multilayer Perceptron) de duas camadas é treinado para classificar binariamente a presença de defeitos para cada opção de tarefa, sem atualizar os pesos do ViT.

C. Pipeline de Edição Guiada por ViT (Fase 3)

• O sistema traduz as probabilidades de defeito do classificador em instruções de edição.
• Geração de Prompt: O código do problema identificado é mapeado para um prompt de linguagem natural específico da família, usando templates que incluem restrições de formato tátil (garantindo silhuetas limpas, continuidade de traço, etc.).
• Edição: O prompt é enviado ao modelo de edição de imagem gpt-image-1, que edita o desenho tátil existente (não gera do zero), focando na correção do defeito específico.

3. Principais Contribuições

1. Dataset Estruturado e Granular: Um novo dataset com 14.095 registros binários cobrindo 30 tarefas de avaliação, permitindo a análise de defeitos específicos em vez de avaliações holísticas.
2. Avaliador Automatizado Reprodutível: Um modelo ViT-L/14 que alcança alta precisão na detecção de defeitos, servindo como alternativa escalável à anotação humana especializada.
3. Pipeline de Correção End-to-End: Uma demonstração prática de como transformar avaliações automatizadas em edições de imagem concretas, movendo-se além da simples detecção para a reparação.

4. Resultados

• Precisão do Classificador: O probe ViT alcançou 85,70% de precisão geral no conjunto de teste (1.406 registros) em todas as 30 tarefas.
  • Tarefas mais fáceis: Verificações de fundo e identidade (atingiram 100% em alguns casos).
  • Tarefas mais difíceis: Detecção de partes faltantes e separação de textura (precisão variando entre 68% e 80%), refletindo a subjetividade inerente a esses atributos.
• Eficácia da Edição:
  • Em um estudo de caso com 15 defeitos de alta confiança, 14/15 edições reduziram a probabilidade de defeito detectada pelo ViT (redução média de 0,329).
  • Exemplo prático: Um dinossauro com traços excessivamente grossos teve os contornos refinados, melhorando a legibilidade visual, embora a pontuação do classificador tenha mudado marginalmente (o que sugere que a melhoria perceptiva nem sempre é linearmente capturada pela métrica do modelo).
  • O pipeline demonstrou capacidade de corrigir texturas e remover ruído de fundo, mantendo a integridade do objeto.

5. Significado e Impacto

• Escalabilidade: Ao decompor o conhecimento de especialistas em tarefas de linguagem simples, o TactileEval remove o gargalo da necessidade de especialistas em acessibilidade tátil para cada ciclo de anotação, permitindo a avaliação em larga escala.
• Fundação para Automação: Este trabalho estabelece a base para futuros sistemas de correção totalmente automatizados validados por usuários BVI.
• Reprodutibilidade: O código, os dados e os modelos foram disponibilizados publicamente, permitindo que a comunidade de visão computacional e acessibilidade construa sobre este trabalho.
• Limitações e Futuro: O pipeline atual depende de uma API proprietária para edição e ainda não foi validado diretamente por usuários BVI. Trabalhos futuros focarão na calibração de confiança por opção e na validação longitudinal com a comunidade cega.

Em suma, o TactileEval representa um avanço significativo ao transformar a avaliação de gráficos táteis de um processo subjetivo e manual em um fluxo de trabalho estruturado, quantificável e passível de automação parcial.