Weighting What Matters: Boosting Sample Efficiency in Medical Report Generation via Token Reweighting

1. O Problema

A geração automática de relatórios médicos por meio de Modelos Visão-Linguagem (VLMs) enfrenta um obstáculo crítico: a escassez de dados anotados de alta qualidade. Diferentemente dos modelos de domínio geral, os modelos médicos, especialmente em subdisciplinas menores como a oftalmologia, operam em ambientes com restrições severas de dados. Os pares imagem-relatório são caros e difíceis de curar.

O problema central abordado é a ineficiência dos métodos de treinamento padrão. A função de perda de entropia cruzada convencional trata todos os erros de previsão de tokens (palavras) como igualmente importantes. No entanto, na medicina, nem todas as palavras têm o mesmo peso clínico. Por exemplo, confundir "OCT image" com "OCT scan" é trivial, mas confundir "múltiplas drusas" com "nenhuma drusa" altera fundamentalmente o significado clínico e o diagnóstico. O objetivo é maximizar a eficiência dos dados limitados, focando o aprendizado nos tokens semanticamente e clinicamente mais relevantes.

2. Metodologia

Os autores propõem uma abordagem de reponderação de tokens (token reweighting) na função de perda durante o treinamento do VLM.

• Definição de Conjuntos de Palavras-Chave: Foram definidos três conjuntos de palavras-chave clinicamente relevantes para relatórios oftalmológicos:
  • Quantitativos ($\kappa_Q$): Descrevem a gravidade ou extensão (ex: "thick", "several", "increased").
  • Diagnósticos ($\kappa_D$): Correspondem a biomarcadores e conceitos de doenças (ex: "healthy", "late", "fluid", "drusen").
  • Combinado ($\kappa_C$): A união dos dois conjuntos.
• Mecanismo de Ponderação:
  • Durante o treinamento, o modelo identifica os tokens que correspondem a essas palavras-chave no relatório de referência.
  • Substitui-se a entropia cruzada padrão por uma função de perda ponderada normalizada.
  • Tokens pertencentes aos conjuntos de interesse recebem um fator de peso $\gamma > 1$, enquanto os demais mantêm peso 1.
  • A normalização é aplicada para manter a escala global da perda consistente, independentemente do número de palavras-chave em cada relatório.
• Configuração Experimental:
  • Modelo: Um VLM composto por um codificador de imagem pré-treinado, um modelo de linguagem Llama3-3B e uma camada projetora.
  • Ajuste Fino (Fine-tuning): O codificador de imagem foi congelado; apenas a camada projetora e o modelo de linguagem foram atualizados usando LoRA (Low-Rank Adaptation).
  • Validação: Utilizou-se validação cruzada de quatro dobras com varredura de hiperparâmetros (taxa de aprendizado e fator de peso $\gamma$).

3. Contribuições Principais

• Demonstração de Eficiência de Amostra: A prova de que uma função de perda simples, baseada na importância clínica dos tokens, pode melhorar significativamente a eficiência de dados, permitindo atingir qualidade de relatório comparável com até 10 vezes menos dados de treinamento.
• Análise Sistemática: Uma avaliação abrangente que compara diferentes conjuntos de palavras-chave (quantitativos, diagnósticos e combinados) e seu impacto em várias escalas de tamanho de conjunto de dados (de 1% a 100%).
• Foco Clínico Específico: A identificação de que palavras-chave relacionadas a diagnósticos e biomarcadores ($\kappa_D$) têm o maior impacto na melhoria da performance, superando conjuntos puramente quantitativos.

4. Resultados

Os experimentos foram conduzidos na geração de relatórios oftalmológicos, avaliando a precisão na estadiagem da Degeneração Macular Relacionada à Idade (AMD) e na identificação de biomarcadores.

• Desempenho Geral: A ponderação de tokens superou consistentemente a entropia cruzada padrão em quase todos os regimes de dados e métricas (F1 macro).
• Eficiência de Dados:
  • Em muitos casos, o uso de perda ponderada em um subconjunto de dados teve um benefício maior do que aumentar o tamanho do conjunto de dados em um fator de três.
  • Resultado Chave: Modelos treinados com perda ponderada usando apenas 10% dos dados superaram os modelos de base (não ponderados) treinados com 100% dos dados na tarefa de estadiagem de AMD.
• Impacto dos Conjuntos de Palavras: Todos os conjuntos de palavras-chave melhoraram o desempenho, mas o conjunto de palavras-chave diagnósticas foi o mais eficaz, reforçando a importância crítica de conceitos de doenças e biomarcadores na geração de relatórios.

5. Significado e Conclusão

Este trabalho estabelece que a reponderação de tokens baseada em conhecimento clínico é uma estratégia poderosa e simples para o treinamento de VLMs em domínios médicos com dados limitados.

A principal implicação é que não é necessário necessariamente coletar mais dados caros para melhorar modelos médicos; em vez disso, pode-se otimizar o processo de aprendizado existente, direcionando a atenção do modelo para o que realmente importa clinicamente. Isso oferece uma ferramenta acessível para reduzir custos e tempo na curadoria de dados, facilitando a adoção de IA em subdisciplinas médicas com poucos recursos de dados anotados.