MMIR-TCM: Memory-Integrated Multimodal Inference and Retrieval for TCM Clinical Decision Support

Resumo Técnico: MMIR-TCM

Definição do Problema
O diagnóstico da Medicina Tradicional Chinesa (MTC), particularmente a inspeção da língua, enfrenta desafios significativos relacionados à subjetividade, reprodutibilidade e à integração de pistas visuais com o raciocínio textual. Embora os Modelos de Linguagem de Grande Escala Multimodais (MLLMs) tenham mostrado promessa na medicina ocidental, sua aplicação à MTC é dificultada por um hiato semântico entre as características visuais da língua e o raciocínio clínico, bem como pela escassez de conjuntos de dados multimodais padronizados e de grande escala. As abordagens existentes frequentemente tratam a segmentação e a classificação de atributos de forma isolada, falhando em preencher a lacavra para o suporte à decisão clínica baseada em evidências ou geração de prescrições. Além disso, as métricas de avaliação padrão (ex: BLEU, ROUGE) não conseguem capturar a equivalência semântica clínica e a importância diagnóstica inerentes aos resultados da MTC.

Metodologia
Os autores propõem o MMIR-TCM, um novo framework multimodal de ponta a ponta projetado para emular o fluxo de trabalho de raciocínio em etapas de especialistas em MTC. O sistema opera através de três estágios estreitamente acoplados:

1. Extração de Língua Livre de Treinamento (Memory-SAM): Para lidar com a variabilidade na aquisição de imagens (iluminação, fundo, enquadramento) sem incorrer em custos de anotação, o framework utiliza um módulo Memory-SAM livre de treinamento. Este componente recupera exemplares visuais de um banco de memória e os converte em prompts de pontos explícitos para o modelo SAM2, gerando máscaras precisas da língua e Regiões de Interesse (ROI) com o fundo removido.
2. Geração de Diagnóstico de Língua Estruturado: Um modelo Qwen3-VL ajustado (com 30 bilhões de parâmetros) analisa a ROI da língua extraída. Ele é treinado para gerar relatórios de uma única frase, padronizados e em nível de atributo, cobrindo cor/forma do corpo da língua e características do revestimento (cor, espessura, textura, distribuição). O modelo utiliza Adaptação de Baixo Posto (LoRA) para um ajuste fino eficiente.
3. Geração Aumentada por Recuperação (RAG) para Prescrições: Um gerador baseado em Qwen3 sintetiza o diagnóstico estruturado da língua com metadados do paciente (queixa principal, histórico, pulso). Ele recupera casos clinicamente semelhantes e princípios teóricos de um LiuJing Theory e de um Banco de Casos Clínicos (contendo 124.593 registros anonimizados). O sistema funde essa evidência recuperada para gerar diferenciação de síndrome, diagnóstico biomédico e prescrições de ervas com raciocínio explícito.

Para avaliar a precisão clínica do sistema, os autores introduzem o TDEU (TCM Diagnosis Evaluation with Semantic Understanding). Diferente das métricas de nível superficial, o TDEU incorpora decomposição de tokens, reconhecimento de sinônimos, similaridade semântica entre atributos e ponderação de importância clínica (priorizando atributos do corpo e do revestimento da língua) para avaliar a fidelidade diagnóstica.

Principais Contribuições

1. Framework MMIR-TCM: Um pipeline multimodal integrado à memória que combina segmentação livre de treinamento, geração de diagnóstico estruturado e geração de prescrição baseada em RAG para produzir suporte à decisão clínica fundamentado em evidências.
2. Dataset MedTCM: A construção e o lançamento do MedTCM, um conjunto de dados multimodal de grande escala e multicêntrico, composto por 124.593 registros de pacientes anonimizados e um subconjunto curado de 2.805 imagens de alta resolução da língua pareadas com anotações de especialistas.
3. Métrica TDEU: Uma métrica de avaliação específica do domínio que aborda as limitações do emparelhamento de texto tradicional ao incorporar compreensão semântica e ponderação de importância clínica.

Resultos
Experimentos conduzidos no dataset MedTCM demonstram que o MMIR-TCM supera significativamente os principais modelos de referência, incluindo GPT-4o, Gemini 2.5 Flash e vários MLLMs zero-shot.

• Geração de Diagnóstico: A configuração "Mask-to-Mask" (usando entradas segmentadas tanto para treinamento quanto para inferência) alcançou o desempenho mais alto, com uma pontuação BLEU-4 de 83,57 e uma pontuação geral TDEU de 0,627, superando substancialmente os baselines zero-shot (TDEU ~0,34).
• Geração de Prescrição: Em um estudo de preferência de usuários envolvendo 12 clínicos experientes em MTC, o MMIR-TCM foi consistentemente preferido em relação ao GPT-4o. O framework mostrou ganhos relativos de até +209,6% em métricas específicas comparado a variantes de ablação que careciam de entradas de diagnóstico de língua.
• Estudos de Ablação: O estudo confirmou que, embora a padronização de entrada via segmentação forneça benefícios modestos mas consistentes, a integração da memória do Banco de Casos Clínicos e da teoria LiuJing é crítica, sendo que sua remoção causou quedas de desempenho de até 500% em tarefas específicas.

Significância e Alegações
O artigo afirma que o MMIR-TCM oferece um caminho reprodutível para o suporte à decisão clínica multimodal em MTC ao emular fluxos de trabalho de especialistas. Sua principal significância reside em:

• Fundamentação: Ao vincular a geração a precedentes clínicos recuperados e racional de fórmulas documentadas, o sistema melhora a factualidade, interpretabilidade e auditabilidade pelo clínico, reduzindo o risco de "alucinações".
• Padronização: O framework aborda a subjetividade do diagnóstico de língua ao fornecer extração visual padronizada e relatórios estruturados.
• Segurança e Utilidade: Os autores posicionam o sistema não como um agente autônomo, mas como uma ferramenta assistiva sob supervisão profissional. O objetivo é reduzir a carga de documentação e permitir que os clínicos foquem no julgamento e na comunicação, aumentando assim a segurança e a confiabilidade da geração de prescrições de MTC.

Os autores reconhecem limitações, incluindo a dependência de dados retrospectivos, potenciais vieses de localidade e sensibilidade à qualidade da imagem, observando que trabalhos futuros se concentrarão na validação prospectiva e na integração de modalidades diagnósticas adicionais.