Surfacing Variations to Calibrate Perceived Reliability of MLLM-generated Image Descriptions

Resumo Técnico: Expondo Variações para Calibrar a Confiabilidade Percebida de Descrições de Imagens Geradas por MLLM

Declaração do Problema
Modelos de Linguagem de Grande Escala Multimodais (MLLMs) oferecem oportunidades transformadoras para pessoas cegas e com baixa visão (BLV) acessarem informações visuais. No entanto, esses modelos frequentemente geram respostas fluentes, mas factualmente incorretas, incluindo alucinações (fabricação de conteúdo), interpretações errôneas e omissões. Detectar esses erros é particularmente desafiador para usuários BLV, que não podem verificar visualmente a imagem em relação ao texto. Embora os usuários utilizem atualmente contornos, como a verificação cruzada de múltiplas ferramentas ou a consulta a pessoas videntes, esses métodos são frequentemente demorados e impraticáveis. Além disso, os métodos existentes para transmitir a confiança do modelo (por exemplo, probabilidades numéricas) são frequentemente indisponíveis em MLLMs de "caixa-preta" ou falham em abordar a mistura de informações confiáveis e não confiáveis dentro de descrições de formato longo.

Metodologia
Os autores propõem um sistema que expõe sistematicamente as variações entre múltiplas respostas de MLLM para ajudar usuários BLV a detectar informações não confiáveis. A pesquisa segue uma abordagem de três fases:

1. Formulação do Espaço de Design: Com base na literatura prévia e nas práticas dos usuários, os autores definiram um espaço de design para elicitar e apresentar variações. As dimensões principais incluem:

   • Elicitação: Geração de variações via múltiplos experimentos, paráfrase de prompts ou uso de diferentes modelos.
   • Suporte à Comparação: As opções incluem uma lista bruta de descrições, uma "descrição consciente de variações" (agregando detalhes em um texto coerente) e um "resumo de variações" (destacando concordâncias, discordâncias e menções únicas).
   • Granularidade: Comparação ao nível da palavra, do fato atômico, da sentença ou da resposta.
   • Indicadores: Fornecimento de níveis de suporte via contagens, porcentagens, linguagem natural ou atribuição de fonte.

2. Desenvolvimento de Protótipo: Um protótipo de sistema foi construído usando React e Python Flask, compatível com os principais leitores de tela (NVDA, JAWS, VoiceOver).

   • Pipeline: O sistema consulta três MLLMs de última geração (GPT-4o, Gemini 1.5 Pro, Claude 3.7 Sonnet) três vezes cada por imagem (9 descrições no total).
   • Processamento: Usando prompting de Cadeia de Pensamento (Chain-of-Thought), um modelo secundário (Gemini-2.5 Pro) decompõe as descrições em fatos atômicos, agrupa-os por assunto e resolve conflitos.
   • Saída: O sistema gera três estilos de apresentação: uma lista bruta, uma descrição consciente de variações (markdown hierárquico) e um resumo de variações (sinalizando explicitamente concordâncias, discordâncias e menções únicas).

3. Estudo com Usuários: Um estudo intra-sujeito foi conduzido com 15 participantes BLV que utilizam regularmente leitores de tela e ferramentas MLLM.

   • Tarefa: Os participantes avaliaram 9 pares de imagem-prompt (cobrindo limitações de modelos, problemas de qualidade de imagem e subjetividade) sob três condições: uma única descrição, uma lista de 9 descrições e a abordagem agregada dos autores (descrição consciente de variações + resumo).
   • Métricas: Os participantes identificaram alegações não confiáveis (incorretas, especulativas ou opinativas) e avaliaram a confiabilidade percebida em uma escala de 7 pontos.

Principais Contribuições

• Espaço de Design: Um framework estruturado para elicitar e apresentar variações em respostas de MLLM de caixa-preta, adaptado para usuários de leitores de tela.
• Sistema Protótipo: Um pipeline automatizado que gera e apresenta variações em três estilos distintos, especificamente otimizados para acessibilidade.
• Achados Empíricos: Evidências demonstrando que expor variações altera significativamente o comportamento do usuário e a calibração de confiança.

Resultos

• Detecção de Erros: Expor variações aumentou significativamente o número de alegações não confiáveis identificadas. A abordagem agregada dos autores resultou em um aumento de 4,9x nas alegações não confiáveis identificadas em comparação com uma única descrição (Média = 2,62 vs. 0,53). A condição de lista bruta também mostrou melhoria (aumento de 4,2x).
• Confiabilidade Percebida: Apresentar variações diminuiu significadamente a confiabilidade percebida das respostas do MLLM. A classificação média de confiabilidade caiu de 5,78 (descrição única) para 3,93 (abordagem dos autores), indicando uma calibração de confiança bem-sucedida.
• Preferência do Usuário: 14 de 15 participantes preferiram ver variações em vez de uma única descrição. O resumo de variações foi o formato mais preferido (classificado em primeiro lugar por 11 participantes), seguido pela descrição consciente de variações. A lista bruta de múltiplas descrições foi geralmente rejeitada devido ao alto ônus cognitivo e à dificuldade de rastrear inconsistências linearmente via leitores de tela.
• Indicadores de Suporte: As preferências por indicadores de suporte (fonte, porcentagem, linguagem) variaram, embora muitos tenham considerado a atribuição de fonte baseada em texto (ex: "3 de 3 GPT") transparente e útil.

Significância e Alegações
O artigo afirma que expor variações é uma intervenção eficaz para calibrar a confiabilidade percebida das descrições de imagens geradas por MLLM para usuários BLV. Ao permitir que os usuários comparem múltiplas saídas de modelos, o sistema ajuda a identificar inconsistências que servem como indicadores de potenciais erros, afastando-os da dependência excessiva de saídas únicas e de aparência confiante.

Os autores enfatizam que sua abordagem apoia a calibração de confiança apropriada: ela não torna necessariamente o sistema "mais preciso" em um sentido de verdade fundamental (ground-truth), mas torna a incerteza e as limitações do modelo visíveis ao usuário. Isso permite que usuários BLV distingam entre consenso de alta confiança e alegações de baixa confiança ou conflitantes. O trabalho sugere que resumos de variações agregados são superiores às listas brutas para usuários de leitores de tela, oferecendo uma maneira concisa de expor discordâncias críticas sem o ônus cognitivo de processar múltiplos textos de formato longo. Finalmente, o artigo destaca a utilidade desta abordagem tanto em cenários de alto risco (ex: identificação de medicamentos, navegação) quanto em tarefas subjetivas (ex: seleção de roupas, crítica de redes sociais).