"It's trained by non-disabled people": Evaluating How Image Quality Affects Product Captioning with Vision-Language Models

Resumo Técnico: Avaliação do Impacto da Qualidade da Imagem na Legendação de Produtos por Modelos Visão-Linguagem (VLMs)

1. Problema e Motivação

Pessoas cegas e com baixa visão (BLV) utilizam cada vez mais ferramentas baseadas em Modelos Visão-Linguagem (VLMs), como Seeing AI, Be My AI e ChatGPT, para identificar produtos do dia a dia (alimentos, medicamentos, itens de higiene). No entanto, a eficácia dessas ferramentas na vida real é comprometida por dois fatores principais:

1. Qualidade da Imagem: Usuários BLV frequentemente capturam fotos com problemas comuns, como desfoque (blur), enquadramento incorreto (framing) e rotação, devido a desafios físicos e de orientação.
2. Falhas na Avaliação: A literatura existente e os benchmarks padrão (como ImageNet ou COCO) focam em imagens de alta qualidade e utilizam métricas de similaridade de texto (ex: BLEU, ROUGE) que não capturam a precisão factual necessária para a segurança do usuário (ex: confundir "Coca-Cola Zero" com "Diet Coke").

O artigo questiona se os VLMs atuais são robustos o suficiente para lidar com as imagens degradadas do mundo real e se suas legendas atendem às necessidades de informação específicas e críticas de segurança dos usuários BLV.

2. Metodologia

O estudo foi conduzido em duas fases complementares:

Fase 1: Estudo de Survey (Pesquisa)

• Participantes: 86 pessoas cegas ou com baixa visão nos EUA.
• Objetivo: Compreender as preferências, experiências e desafios no uso de ferramentas de IA para identificação de produtos.
• Foco: Comparação entre assistência humana e IA, percepção de erros, tempo de captura de fotos e confiança nos resultados.

Fase 2: Avaliação Empírica de VLMs

• Dataset Criado: Os pesquisadores construíram um dataset anotado com 1.859 imagens de produtos tiradas por pessoas BLV (baseado no dataset VizWiz).
  • Divisão: 729 imagens de alta qualidade (sem problemas) e 1.130 imagens de baixa qualidade (com desfoque, enquadramento ruim ou rotação).
  • Anotação: Uma equipe humana anotou manualmente o "Ground Truth" com detalhes críticos: Tipo de Produto, Marca e Variedade/Sabor.
• Modelos Avaliados: Quatro VLMs de ponta foram testados:
  • Fechados: GPT-4.1 (OpenAI) e Gemini 2.5 Flash (Google).
  • Abertos: Llama 3.2 90B (Meta) e Molmo 72B (Allen Institute for AI).
• Métrica de Avaliação: Em vez de métricas automáticas de similaridade de texto, os pesquisadores realizaram uma avaliação humana rigorosa para verificar se a legenda continha informações factuais corretas (precisão e recall de detalhes específicos), evitando falsos positivos.
• Análise Estatística: Foram utilizados modelos de regressão logística para analisar o impacto isolado e combinado de problemas de imagem (desfoque, enquadramento, rotação) e propriedades do produto (rótulos curvos, painéis de texto) na precisão dos modelos.

3. Principais Contribuições

1. Evidência Empírica de Preferências: Demonstrou que usuários BLV preferem IA para tarefas de rotina (leitura de rótulos de alimentos, identificação de itens domésticos), mas dependem de humanos para questões de segurança crítica (medicamentos, alérgenos) e quando a privacidade de dados é uma preocupação.
2. Dataset e Métrica Centrados na Deficiência: Criou um benchmark focado em imagens degradadas do mundo real e propôs uma metodologia de avaliação que prioriza a precisão factual sobre a similaridade textual, abordando a lacuna entre benchmarks acadêmicos e necessidades reais de acessibilidade.
3. Análise de Robustez: Identificou como diferentes VLMs falham especificamente diante de distorções comuns, fornecendo um roteiro para melhorias futuras.

4. Resultados Chave

A. Impacto da Qualidade da Imagem na Precisão:

• Imagens de Alta Qualidade: Os modelos fechados (GPT e Gemini) tiveram desempenho excelente, com precisão de 98,5% e 95,7%, respectivamente. Modelos abertos (Llama, Molmo) ficaram em torno de 86%.
• Imagens de Baixa Qualidade: A precisão caiu drasticamente para todos os modelos. O melhor modelo (GPT) caiu para 74,9%. Os modelos abertos sofreram mais, com o Molmo caindo para 36,1%.
• Efeito de Acúmulo: Quando múltiplos problemas de imagem ocorrem simultaneamente (ex: desfoque + enquadramento + rotação), a precisão do GPT caiu para 69,4%, e a do Molmo para 27,8%.

B. Sensibilidade a Problemas Específicos:

• Desfoque (Blur): Foi o problema mais prejudicial, reduzindo as chances de identificação correta em 88,3%. Os modelos falham em extrair detalhes finos (como sabores ou ingredientes) em imagens borradas.
• Enquadramento (Framing): Reduziu a precisão em 84,5%. Os modelos tiveram dificuldade em "inserir" informações faltantes quando partes do rótulo estavam fora do quadro.
• Rotação: Foi o menos prejudicial, mas ainda reduziu a precisão em 79,5%, afetando principalmente a leitura de texto detalhado.
• Interações Complexas: A presença de múltiplos defeitos não é apenas aditiva; a degradação torna-se não-linear, onde modelos perdem a capacidade de inferência mesmo com partes da imagem visíveis.

C. Diferenças entre Modelos:

• GPT-4.1: Foi o mais robusto, especialmente contra desfoque, mas ainda falha em detalhes críticos.
• Gemini: Mostrou maior resistência ao desfoque em comparação com o GPT, mas pior desempenho com enquadramento incorreto.
• Molmo: Foi o mais sensível a imagens rotacionadas.
• Llama: Teve o pior desempenho geral em imagens de baixa qualidade, sofrendo significativamente com desfoque.

D. Falhas Críticas:

• Os modelos frequentemente geram "alucinações" plausíveis (ex: identificar um medicamento errado como um similar) ou omitir informações vitais (ex: não especificar "sem açúcar" ou "alérgenos").
• Usuários relataram que erros parciais (produto certo, sabor errado) são mais perigosos do que erros completos, pois geram falsa confiança.

5. Significado e Recomendações

O artigo conclui que a avaliação de VLMs para acessibilidade não pode ser feita apenas em datasets de alta qualidade. A comunidade de pesquisa e desenvolvimento deve adotar uma abordagem centrada na deficiência:

1. Curadoria de Dados: Treinar e ajustar (fine-tuning) modelos com datasets que incluam variações de qualidade de imagem reais (desfoque, rotação, enquadramento), em vez de apenas imagens perfeitas.
2. Objetivos de Aprendizado: Desenvolver funções de perda que penalizem a omissão de detalhes críticos e a precisão factual, não apenas a coerência linguística.
3. Técnicas de Inferência: Implementar técnicas de "abstenção" (o modelo deve admitir incerteza e não responder se a imagem for muito degradada) e reconstrução de imagem (inpainting) antes da geração de legenda.
4. Feedback ao Usuário: As ferramentas devem fornecer feedback em tempo real sobre a qualidade da foto (ex: "o rótulo está muito borrado, tente focar") e não apenas após o erro.

Conclusão Final:
A frase do título, "É treinado por pessoas não deficientes", reflete a lacuna fundamental: os modelos atuais são otimizados para a visão humana padrão e falham nas condições reais de uso de pessoas com deficiência visual. Para que essas tecnologias sejam seguras e confiáveis, é necessário um esforço conjunto entre pesquisadores de HCI (Interação Humano-Computador) e ML (Aprendizado de Máquina) para redefinir como os dados são coletados, anotados e como os modelos são avaliados, colocando as necessidades e limitações dos usuários BLV no centro do processo de desenvolvimento.