Resumo Técnico: Aloe-Vision – Modelos de Visão-Linguagem Robustos para a Saúde

1. Definição do Problema

O desenvolvimento de Grandes Modelos de Visão-Linguagem (LVLMs) para a área da saúde enfrenta três gargalos críticos que impedem sua implementação em ambientes clínicos de alta segurança:

1. Escassez e Qualidade de Dados: Dados de alta qualidade que combinam imagem médica e texto são severamente limitados, restringindo a escala e a diversidade necessárias para treinar modelos que generalizem entre modalidades, patologias e estruturas anatômicas.
2. Contaminação de Avaliação: Benchmarks existentes de VQA médico (ex: PathVQA, VQA-RAD) são frequentemente ruidosos, estão disponíveis publicamente há anos e correm o risco de vazamento de dados (data leakage), levando a avaliações de desempenho não confiáveis ou excessivamente otimistas.
3. Falhas de Robustez: Os estados da arte dos LVLMs exibem vulnerabilidades significativas a prompts adversariais, ambíguos ou enganosos. Em contextos clínicos, onde os modelos devem interpretar dados visuais juntamente com narrativas, tais falhas são inaceitáveis.

O campo carece atualmente de sistemas totalmente abertos e reprodutíveis onde todos os componentes (dados, pesos, receitas de treinamento) possam ser inspecionados para construir fundações confiáveis para aplicações biomédicas.

2. Metodologia

2.1. Aloe-Vision-Data: Uma Mistura de Treinamento Equilibrada

Para enfrentar as limitações de dados, os autores construíram o Aloe-Vision-Data, uma mistura de grande escala e filtrada por qualidade, projetada para ajuste fino (fine-tuning) direto. O conjunto de dados integra quatro categorias distintas:

• Multimodal Médico: Para raciocínio clínico visual.
• Multimodal Geral: Para preservar capacidades visuais gerais.
• Apenas Texto Médico: Para conhecimento específico do domínio.
• Apenas Texto Geral: Para manter a fluência conversacional.

Estratégias Chave de Engenharia de Dados:

• Rebalanceamento Baseado em Tokens: Em vez de equilibrar pelo número de amostras, a mistura é ponderada por tokens que contribuem para a perda (loss-contributing tokens) — apenas tokens do assistente. Isso evita que amostras longas (ex: traços de Cadeia de Pensamento/Chain-of-Thought) dominem o sinal de treinamento, garantindo influência uniforme entre as modalidades.
• Filtragem de Qualidade Semi-Automática: Um processo de filtragem de dois sinais remove anotações de baixa qualidade:
  1. Tagging por LVLM: Um modelo de 72B pontua as amostras (1–5) com base na coerência entre imagem, pergunta e resposta.
  2. Perplexidade da Resposta: Um modelo de 7B calcula a perplexidade; pontuações muito baixas indicam respostas triviais (visíveis nas imagens), enquanto pontuações altas indicam ruído.
• Prevenção de Vazamento: Um procedimento de hashing perceptual (pHash) de 64 bits remove imagens quase duplicadas entre os conjuntos de treinamento e avaliação, eliminando 6.273 amostras para garantir a integridade da avaliação.
• Composição Final: A mistura resultante contém aproximadamente 3,57 milhões de amostras e cerca de 640 milhões de tokens de perda, sendo que os dados multimodais médicos representam 41,8% e o texto médico apenas 29,7% dos tokens de perda.

2.2. Treinamento do Modelo

A família Aloe-Vision consiste em dois modelos (7B e 72B de parâmetros) ajustados a partir da família Qwen2-VL-Instruct.

• Arquitetura: Mantém a interface nativa de múltiplas imagens e o template de chat estilo Qwen.
• Treinamento: Ajuste Fino Supervisionado (SFT) de etapa única em diálogos alternados usuário/assistente, otimizando a entropia cruzada do próximo token (next-token cross-entropy).
• Robustez Adversarial (AR): Uma variante (Aloe-Vision-AR) passa por um estágio adicional de SFT usando amostras adversariais derivadas do dataset FracAtlas (uma modalidade não presente no benchmark principal) para testar a transferência de robustez cross-modal.

2.3. Estrutura de Avaliação

Os autores introduzem um conjunto de avaliação abrangente para evitar contaminação e avaliar a qualidade holística:

• CareQA-Vision: Um novo benchmark derivado de exames de residência médica e de enfermagem espanhóis (MIR e EIR). Contém 301 questões de visão curadas por especialistas (2020–2024) traduzidas para o inglês. Crucialmente, esses casos não foram vistos pelos modelos, oferecendo uma avaliação livre de contaminação do raciocínio clínico.
• Benchmark Adversarial (HEART): Utiliza 24.311 amostras para testar a robustez contra quatro tipos de ataque: Sicofancia (rótulos induzidos), Legendas (texto incorreto incorporado nas imagens), Prompt (texto incorreto nos comandos) e Lendas (legendas incompatíveis).
• Benchmarks Padrão: Inclui PathMMU, GMAI-MMBench, OmniMedVQA e benchmarks gerais (MMMU, MMLU) para medir capacidades gerais.

3. Principais Contribuições

1. Aloe-Vision-Data: A primeira mistura pronta para treinamento, equilibrada e explicitamente curada para o ajuste fino de LVLMs, lançada com total transparência quanto às proporções de categorias e ponderação baseada em tokens.
2. Modelos Aloe-Vision: Lançamento aberto de LVLMs médicos de 7B e 72B com pesos completos, receitas de treinamento e dados, alcançando desempenho competitivo com sistemas de estado da arte (SOTA).
3. CareQA-Vision: Um benchmark resistente à contaminação para avaliar o desempenho em casos médicos inteiramente novos, abordando os problemas de vazamento prevalentes em datasets antigos.
4. Análise de Robustez: Uma avaliação sistemática demonstrando que o desempenho em benchmarks padrão não garante confiabilidade sob condições adversariais, e que o treinamento de robustez direcionado pode mitigar essas vulnerabilidades.

4. Resultados

4.1. Desempenho Padrão

• Tendências de Escala: O aumento do tamanho do modelo de 7B para 72B produz melhorias consistentes de desempenho em todos os benchmarks.
• Desempenho Competitivo: O Aloe-Vision-72B alcança resultados fortes, frequentemente superando outros LVLMs médicos de código aberto (ex: HuatuoGPT-Vision, Lingshu) em tarefas multimodais médicas e de texto puro.
• Generalização: Os modelos performam particularmente bem no CareQA-Vision, indicando uma generalização bem-sucedida para distribuições médicas não vistas.
• Comparação com Modelos Proprietários: Embora o GPT-5.2 lidere em benchmarks de apenas texto, vários modelos abertos (incluindo o Aloe-Vision) superam-no em tarefas específicas de visão-linguagem médica (ex: OMVQA, PathMMU), sugerindo que a adaptação de domínio direcionada pode diminuir a lacuna em relação aos sistemas proprietários.

4.2. Robustez Adversarial

• Vulnerabilidade: LVLMs padrão (incluindo modelos SOTA como Lingshu e Hulu-Med) sofrem quedas catastróficas de desempenho quando expostos a entradas adversariais, particularmente ataques baseados em legendas (ex: Qwen2-VL-7B caindo de 51,6% para 0,2% de acurácia).
• Eficácia do Treinamento AR: As variantes Aloe-Vision-AR superam consistentemente suas contrapartes padrão sob condições adversariais. Notavelmente, a robustez aprendida de uma única modalidade (FracAtlas) transfere-se com sucesso para especialidades médicas e modalidades de imagem não vistas.
• Detecção vs. Classificação: Tarefas de detecção (caixas delimitadoras/bounding boxes) provaram ser mais resilientes à manipulação textual do que tarefas de classificação, sugerindo que o ancoramento espacial oferece uma proteção parcial.

4.3. Capacidades de Raciocínio

O estudo observou que modelos explicitamente pós-treinados para raciocínio (ex: GLM-4.5V, Chiron-o1) não superaram consistentemente os modelos padrão através do conjunto de benchmarks. Isso sugere que os atuais benchmarks de visão-linguagem médica são predominantemente baseados em conhecimento e podem ainda não exigir raciocínio de múltiplos passos para atingir pontuações altas.

5. Significância e Alegações

O artigo afirma que o Aloe-Vision fornece uma fundação totalmente aberta e reprodutível para avançar a modelagem de visão-linguagem médica confiável. Sua significância reside em:

• Reprodutibilidade: Ao liberar a mistura completa de dados, receitas de treinamento e pesos, os autores permitem que a comunidade inspecione, avalie e melhore o sistema, abordando a natureza de "caixa preta" de muitos esforços de IA médica SOTA.
• Confiabilidade: O trabalho ressalta que a alta precisão em benchmarks padrão é insuficiente para implantação clínica. A introdução de testes adversariais e a demonstração de treinamento de robustez destacam a necessidade de avaliar modelos sob condições enganosas.
• Integridade de Dados: A rigorosa prevenção de vazamento e a criação do CareQA-Vision oferecem um caminho para uma avaliação mais confiável e livre de contaminação da IA médica.

Os autores concluem que, embora o Aloe-Vision alcance um desempenho competitivo, pesquisas futuras devem separar sistematicamente as contribuições da escala do modelo, escala/qualidade dos dados e currículos de treinamento para melhor caracterizar as trocas de desempenho (trade-offs) em LVLMs médicos.