Assessing VLM Reliability for Medical Image Quality Evaluation Under Corruption and Bias

Resumo Técnico: Avaliando a Confiabilidade de VLMs para Avaliação da Qualidade de Imagens Médicas sob Corrupção e Viés

Definição do Problema
Os Modelos de Visão-Linguagem (VLMs) estão sendo cada vez mais implantados em tarefas médicas, como geração de relatórios e questionamento visual. No entanto, sua confiabilidade em contextos de segurança crítica, especificamente para a Avaliação da Qualidade de Imagens Médicas (MIQA), permanece insuficientemente explorada. A implantação clínica exige modelos que possam avaliar robustamente a integridade da imagem, apesar de degradações do mundo real (ex: ruído, desfoque) e que permaneçam objetivos ao serem apresentados com metadados contextuais. A literatura atual carece de um benchmark abrangente que quantifique como os VLMs respondem a corrupções sistemáticas de imagem e se os vieses textuais (ex: prestígio institucional, demografia do operador) influenciam inadvertidamente a pontuação de qualidade. Este estudo aborda a lacuna na compreensão do comportamento dos VLMs sob essas condições para evitar erros diagnósticos e garantir a segurança do paciente.

Metodologia
Os autores realizaram um estudo de benchmarking zero-shot utilizando o conjunto de dados MediMeta-C, que compreende imagens médicas limpas e versões sistematicamente corrompidas através de sete tipos de corrupção (Desfoque de Movimento, Desfoque de Zoom, Ruído Gaussiano, Ruído de Impulso, Brilho, Contraste, Pixelização) em cinco níveis de severidade.

• Modelos Avaliados: Um total de 16 VLMs de código aberto foram testados, incluindo 11 modelos de propósito geral (ex: LLaVA, Qwen, InternVL) e 5 modelos orientados para a medicina (ex: MedGemma, Lingshu Medical).
• Pipeline de Avaliação:
  1. Robustez Visual: Os modelos foram instruídos a classificar a qualidade da imagem em uma escala de 1 a 5 para imagens limpas e corrompidas. O estudo quantificou a porcentagem de mudança nos escores em relação às bases de referência limpas.
  2. Geometria de Embedding: Para compreender a representação interna da qualidade, os autores analisaram a distância euclidiana entre os centroides dos embeddings de imagens limpas e os centroides dos embeddings de imagens corrompidas no espaço latente.
  3. Análise de Viés Textual: O estudo introduziu vieses controlados nos prompts de sistema injetando metadados relativos a quatro categorias: Demografia (raça/nome do médico), Expertise (estudante vs. especialista), Infraestrutura (dispositivo antigo vs. de alta tecnologia) e Instituição (local vs. de classe mundial). O impacto desses sinais não visuais nos escores de qualidade foi medido.

Principais Contribuições

1. Benchmark Abrangente: Estabeleceu um framework de avaliação zero-shot para MIQA em 16 VLMs, sete modalidades (incluindo Microscopia de Células, Mamografia, OCT e Raio-X de Tórax) e múltiplos tipos de corrupção.
2. Mapeamento de Sensibilidade à Corrupção: Mapeou padrões específicos de degradação para reduções de pontuação, revelando que os VLMs são altamente sensíveis à pixelização (que obscurece detalhes finos), mas relativamente insensíveis a mudanças de brilho.
3. Correlação Embedding-Desempenho: Demonstrou uma correlação direta entre o deslocamento geométrico dos embeddings de imagem no espaço latente e a magnitude das mudanças nos escores de qualidade, sugerindo que os VLMs codificam implicitamente informações de qualidade dentro de suas representações de características.
4. Quantificação de Vulnerabilidade a Viés: Expôs sistematicamente como os VLMs permitem que metadados contextuais sobreponham a evidência visual, levando a flutuações significativas nos escores baseadas em atributos textuais irrelevantes.

Resultos

• Impacto da Corrupção de Imagem:

  • A Pixelização causou a degradação de desempenho mais significativa, com uma redução média de escore de -20,58% em todos os modelos e modalidades. Para a Tomografia de Coerência Óptica (OCT), essa redução atingiu -34,4%.
  • O Brilho teve o menor impacto, com uma redução média de apenas -0,81%.
  • Comportamento Contraintuitivo: Alguns modelos exibiram aumento nos escores de qualidade para imagens corrompidas. Por exemplo, o InternVL-8B e o InternVL-14B atribuíram escores até +31% maiores para imagens de mamografia corrompidas com ruído de impulso, potencialmente interpretando artefatos de ruído como calcificações clinicamente relevantes.
  • Análise de Embedding: O maior deslocamento de embedding (69,99) correspondeu às imagens de OCT pixelizadas, alinhando-se com as maiores reduções de escore. Isso confirma que os VLMs interpretam grandes deslocamentos no espaço latente como degradação de qualidade.
  • Correlação de Modelo: Modelos dentro da mesma família mostraram alta correlação no comportamento de pontuação (0,67–0,83), enquanto alguns modelos (ex: LLaVA-Med-Mistral-7B) mostraram correlação próxima de zero com outros, indicando critérios de avaliação divergentes.

• Impacto do Viés Textual:

  • Prestígio Institucional: Prompts citando "instituições médicas de classe mundial" aumentaram os escores médios em +17,15%.
  • Idade do Equipamento: Prompts citando "dispositivos antigos" diminuíram os escores médios em -14,7%.
  • Variabilidade Extrema: Os efeitos de viés foram dependentes do modelo. O InternVL-8B mostrou um aumento massivo de +95,62% nos escores para calcificações de mamografia sob prompts enviesados, enquanto os modelos MedGemma mostraram uma diminuição de -37,7% quando instruídos com metadados de "dispositivo antigo".
  • Demografia e Expertise: Os escores variaram significamente dependendo se a imagem era atribuída a um "especialista de renome mundial" versus um "estudante de medicina", ou com base no histórico demográfico do médico, indicando uma falta de objetividade.

Significância e Alegações
O artigo conclui que os atuais VLMs possuem limitações significativas para a avaliação automatizada da qualidade de imagens médicas. Os autores afirmam que:

1. Troca entre Privacidade e Confiabilidade: A pixelização, frequentemente usada como uma transformação de preservação de privacidade, degrada severamente o desempenho dos VLMs, destacando um compromisso entre a privacidade do paciente e a confiabilidade do modelo.
2. Metadados como Fonte de Viés: A sensibilidade dos VLMs a metadados contextuais (instituição, equipamento, demografia) indica uma falta de objetividade. Os autores argumentam que o metadado não é meramente administrativo, mas uma fonte de viés sistemático que pode alterar julgamentos clínicos.
3. Requisitos Interconectados: Proteger a privacidade (removendo ou anonimizando metadados) e garantir uma avaliação de qualidade objetiva são requisitos profundamente interconectados. Os autores afirmam que pipelines robustos de preservação de privacidade são tecnicamente essenciais para que os VLMs funcionem de forma confiável em ambientes clínicos, pois o vazamento de metadados compromete tanto a equidade quanto a precisão diagnóstica.
4. Necessidade de Avaliação Sistemática: O estudo enfatiza que, sem tal benchmarking, as vulnerabilidades em relação à sensibilidade à corrupção e à suscetibilidade ao viés podem permanecer ocultas até após a implantação clínica, representando riscos à segurança do paciente.