Sparse Spectral LoRA: Routed Experts for Medical VLMs

Título: Sparse Spectral LoRA: Routed Experts for Medical VLMs

Autores: Omid Nejati Manzari, Hojat Asgariandehkordi, Taha Koleilat, Yiming Xiao, Hassan Rivaz (Concordia University, Canadá).
Modelo Proposto: MedQwen.

1. O Problema

Os Modelos de Visão e Linguagem (VLMs) de grande escala demonstram excelente desempenho em benchmarks gerais, mas enfrentam desafios significativos na área médica:

• Interferência entre Conjuntos de Dados: A supervisão heterogênea (dados de diferentes fontes médicas) causa interferência cruzada, onde o ajuste fino em um conjunto de dados degrada o desempenho em outros.
• Sensibilidade ao Regime de Dados: Modelos ajustados com LoRA padrão são altamente sensíveis à forma como os dados de treinamento são misturados.
• Esquecimento Catastrófico: Em fluxos de trabalho clínicos reais, dados e tarefas chegam sequencialmente. O treinamento contínuo ingênuo leva ao esquecimento catastrófico (perda drástica de conhecimento anterior).
• Custos e Complexidade: Modelos médicos especializados frequentemente exigem backbones grandes e custosos, e métodos de Ajuste Fino Eficiente de Parâmetros (PEFT) existentes, como o LoRA padrão, não resolvem completamente as questões de confiabilidade e custo.

2. Metodologia: MedQwen

Os autores propõem o MedQwen, um VLM médico eficiente em parâmetros que combina uma Mistura de Especialistas (MoE) roteada com uma estrutura baseada em Decomposição em Valores Singulares (SVD) e uma regra de escalonamento teórica.

A. Inicialização Espectral Adaptativa (SVD-Structured MoE)

Em vez de inicializar os especialistas (experts) do MoE aleatoriamente ou com zeros, o MedQwen utiliza a estrutura espectral dos pesos pré-treinados:

1. Segmentação SVD: A matriz de pesos pré-treinada $W^{(0)}$ é decomposta via SVD ($U S V^T$).
2. Segmentos Não Sobrepostos: Os componentes espectrais (segmentos de valores singulares) são divididos em segmentos não sobrepostos. Cada "expert" do MoE é inicializado a partir de um segmento singular distinto.
3. Hipótese: Diferentes segmentos espectrais contêm informações dependentes da tarefa. O roteador aprende a ativar dinamicamente o especialista cujo espectro singular é mais relevante para a entrada atual, permitindo especialização sem descartar a estrutura pré-treinada.

B. Alinhamento Teórico de Otimização e Escalonamento

A integração direta de subespaços SVD no MoE pode causar desalinhamento de pesos e dinâmica de gradiente complexa. Para resolver isso:

1. Compensação de Resíduo: Introduz-se um termo de compensação ($W_{res}$) para garantir que o peso efetivo inicial do MoA seja igual ao peso pré-treinado original, evitando viés de inicialização.
2. Fator de Escalonamento Teórico ($s$): Os autores derivam um fator de escalonamento ótimo ($s^*$) que alinha a geometria do gradiente de baixo posto (LoRA) com a de um ajuste fino completo (Full Rank).
   • A fórmula derivada é $s^* = \sqrt{\frac{3n\eta}{r}}$, onde $n$ é a dimensão, $r$ é a rank e $\eta$ é a razão das taxas de aprendizado.
   • Isso justifica teoricamente o uso de fatores de escalonamento moderados (ex: $s \in [4, 16]$) em vez de valores pequenos, acelerando a convergência e estabilizando o treinamento.

C. Arquitetura

• Baseado no Qwen2.5-VL 7B.
• Utiliza um roteador do tipo Top-k (especificamente $k=2$ de $N$ especialistas) para ativar apenas os especialistas mais relevantes, mantendo a eficiência computacional.

3. Principais Contribuições

1. LoRA Espectral Esparsa: Introdução de uma arquitetura MoE onde os especialistas são inicializados a partir de segmentos espectrais não sobrepostos de pesos pré-treinados, reduzindo a interferência entre conjuntos de dados e preservando priors úteis.
2. Alinhamento de Otimização com Escalonamento: Estabelecimento de condições teóricas e um fator de escalonamento que faz com que a dinâmica de treinamento do LoRA-MoE corresponda à de um MoE com ajuste fino completo, sem alterar a arquitetura base.
3. VLM Médico Unificado e Eficiente: O modelo atinge resultados state-of-the-art (SOTA) em tarefas de VQA, geração de relatórios e classificação, mantendo-se eficiente (sem necessidade de mudar a arquitetura base).
4. Análise Abrangente: Estudo detalhado sobre esparsidade de especialistas, rank, roteamento e trade-offs entre custo computacional e desempenho.

4. Resultados Experimentais

O MedQwen foi avaliado em 23 conjuntos de dados médicos, cobrindo VQA, geração de relatórios e classificação.

• Desempenho Geral:

  • Supera significativamente modelos baseados em LoRA padrão e outras variantes de MoE (como MoELoRA e HydraLoRA).
  • No benchmark de Classificação Zero-Shot, aproxima-se da qualidade do ajuste fino completo (Full Fine-Tuning) utilizando 339 vezes menos parâmetros treináveis (2.24% vs 760% dos parâmetros do modelo completo).
  • Supera a linha de base LoRA padrão em +3.38 pontos de precisão com menos parâmetros.

• Resiliência ao Esquecimento Catastrófico:

  • Em cenários de aprendizado sequencial (treinar em Harvard-FairVLMed e depois em PathVQA), o LoRA padrão perdeu mais de 50% de sua precisão original.
  • O MoELoRA padrão perdeu mais de 20%.
  • O MedQwen manteve a precisão com uma queda de apenas ~5%, demonstrando robustez superior na retenção de conhecimento.

• Geração de Relatórios e Alucinações:

  • Supera modelos especializados em radiologia (como RadFM) em métricas de geração de relatórios (BLEU, ROUGE, CheXbert).
  • Reduz significativamente as alucinações (hallucinations) em tarefas de interpretação visual e geração de texto médico, superando modelos gerais como GPT-4o em métricas específicas de alucinação médica.

• Eficiência Computacional:

  • O tempo de treinamento e uso de memória são comparáveis a outros métodos LoRA-MoE, mas com desempenho superior.
  • A análise de FLOPs mostra que o método escala de forma mais eficiente do que o ajuste fino completo de MoE.

5. Significado e Impacto

O trabalho apresenta uma solução robusta para a adaptação de grandes modelos de linguagem e visão ao domínio médico, onde a confiabilidade e a estabilidade são críticas.

• Viabilidade Clínica: Ao mitigar o esquecimento catastrófico e a interferência entre tarefas, o MedQwen permite que modelos sejam atualizados continuamente com novos dados clínicos sem perder conhecimento prévio, algo essencial para a prática médica em evolução.
• Eficiência de Recursos: A capacidade de atingir desempenho próximo ao ajuste fino completo com uma fração mínima de parâmetros torna a adaptação de modelos médicos viável para instituições com recursos computacionais limitados (ex: treinamento em uma única GPU).
• Fundamentação Teórica: A derivação teórica do fator de escalonamento e a inicialização baseada em SVD fornecem um novo paradigma para o desenvolvimento de métodos PEFT, indo além de heurísticas empíricas.

Em resumo, o MedQwen demonstra que a combinação de estrutura espectral (SVD), especialização via MoE e alinhamento teórico de gradientes é uma abordagem superior para criar VLMs médicos robustos, eficientes e confiáveis.