Performance Evaluation of Open-Source Large Language Models for Assisting Pathology Report Writing in Japanese

Este estudo avalia o desempenho de sete modelos de linguagem de código aberto no suporte à redação de relatórios de patologia em japonês, concluindo que, embora existam variações nas preferências por explicações, esses modelos demonstram utilidade em tarefas específicas como relatórios estruturados e correção de erros tipográficos.

O essencial

Imagine que você é um médico patologista no Japão. Seu trabalho é como ser um detetive que analisa tecidos do corpo para descobrir o que está acontecendo dentro do paciente. Depois de analisar tudo, você precisa escrever um relatório técnico, cheio de regras específicas, termos médicos difíceis e formatos padronizados. É um trabalho exaustivo, que exige muita atenção aos detalhes.

Agora, imagine que você tem um assistente de inteligência artificial (IA) que pode ajudar a escrever esses relatórios. A pergunta que os autores deste estudo fizeram foi: "Quais assistentes gratuitos e de código aberto funcionam melhor para ajudar médicos japoneses a escreverem esses relatórios?"

Eles testaram 7 "cérebros" de IA diferentes (modelos de linguagem) em três situações principais. Vamos usar analogias para entender o que descobriram:

1. O Teste do "Mestre de Formatação" (Organização de Dados)

A Situação: Imagine que você tem uma lista de ingredientes solta (dados brutos) e precisa transformá-la em uma receita perfeita, seguindo um livro de receitas oficial (o formato do relatório).
O que aconteceu:

• Alguns assistentes foram ótimos em apenas copiar e colar, mantendo o formato perfeito.
• Outros, no entanto, falharam quando precisavam pensar. Por exemplo, se a IA precisava calcular o tamanho do tumor ou o estágio da doença baseada em números, os modelos comuns se confundiam, como um aluno que sabe decorar a fórmula, mas não sabe aplicá-la.
• A Vencedora: Os modelos chamados de "Thinking" (Pensadores) e os modelos especializados em medicina foram os únicos que conseguiram fazer os cálculos corretamente, como um matemático que não apenas decorou a tabela, mas entende a lógica.

2. O Teste do "Caçador de Erros" (Correção de Digitação)

A Situação: Imagine que você escreveu um relatório, mas cometeu alguns erros de digitação, trocou letras ou esqueceu palavras. Você pede para a IA corrigir tudo.
O que aconteceu:

• A IA precisa ser como um editor de texto muito esperto, mas cuidadoso. Ela não pode apenas "chutar" uma correção e mudar o significado da frase.
• Um modelo especializado em medicina (MedGemma) e um modelo "Pensador" foram muito bons em pegar os erros difíceis, como trocar um caractere japonês por outro que muda o sentido médico.
• No entanto, um dos modelos (SIP-jmed) foi tão "entusiasta" na correção que às vezes apagava frases inteiras, como um editor que, ao tentar consertar um erro, rasga a página inteira.
• A Lição: Para corrigir erros, é melhor ter um especialista que conhece o vocabulário médico do que um generalista.

3. O Teste do "Tradutor de Significado" (Explicações para Pacientes e Residentes)

A Situação: Agora, a IA precisa escrever uma explicação simples sobre o diagnóstico, algo que um residente de medicina iniciante ou até o próprio paciente possa entender.
O que aconteceu:

• Aqui, a coisa ficou estranha. Diferente dos testes anteriores, onde havia uma resposta certa ou errada, aqui tudo dependeu de quem estava lendo.
• Um patologista podia achar a explicação de uma IA "perfeita" (nota 5), enquanto outro achava "confusa" (nota 2).
• Foi como pedir para 5 amigos avaliarem uma música nova: um ama, outro odeia, e o terceiro acha "ok". Não houve consenso.
• A Lição: A IA ainda não consegue "ler a mente" de todos os médicos. O que parece claro para um, parece confuso para outro.

O Veredito Final (Resumo Simples)

Os autores concluíram que:

1. Não existe um "super-herói" único: Nenhum modelo de IA venceu em tudo. Cada um tem sua especialidade.
2. O "Pensador" é bom para lógica: Se você precisa que a IA faça cálculos ou deduções complexas, use os modelos que têm a capacidade de "pensar" antes de responder.
3. O "Especialista" é bom para detalhes: Se você precisa corrigir erros de texto médico ou escrever explicações, os modelos treinados especificamente para medicina funcionam melhor.
4. O fator humano é imprevisível: Mesmo com a IA ajudando, a preferência de cada médico por como o texto é escrito varia muito.

Em suma: A IA de código aberto (gratuita) já é útil para ajudar médicos japoneses a escreverem relatórios, mas não é mágica. Ela funciona bem como um estagiário inteligente que precisa ser supervisionado: ótimo para organizar dados e corrigir erros, mas ainda precisa de um humano para decidir qual explicação soa melhor e para verificar os cálculos complexos. Além disso, como são modelos locais (rodando no computador do hospital), eles protegem melhor a privacidade dos pacientes do que enviar dados para a nuvem de empresas gigantes.

Resumo técnico

Título do Estudo

Avaliação de Desempenho de Modelos de Linguagem de Grande Escala (LLMs) de Código Aberto para Auxiliar na Redação de Laudos de Patologia em Japonês

---

1. Problema e Motivação

O uso de Modelos de Linguagem de Grande Escala (LLMs) na medicina está em expansão, mas sua aplicação em laudos de patologia em japonês permanece pouco explorada. Existem barreiras significativas para o uso de modelos comerciais em nuvem (como ChatGPT ou Gemini) devido a preocupações com governança de dados, privacidade de pacientes e conformidade com regulamentações locais.
O objetivo deste estudo foi preencher essa lacuna avaliando sete LLMs de código aberto para uso local (on-premise), focando em três cenários clínicos relevantes:

1. Geração de texto estruturado e extração de informações seguindo formatos padronizados.
2. Correção de erros tipográficos em laudos reais.
3. Geração de textos explicativos para pacientes ou residentes, avaliados subjetivamente por especialistas.

2. Metodologia

O estudo foi conduzido no National Cancer Center Hospital East (Japão) e envolveu as seguintes etapas:

• Modelos Avaliados (Jan/2026): Sete modelos de código aberto foram testados em um Mac Studio (M2 Ultra, 196 GB RAM) usando llama.cpp. Os modelos incluíam:
  • Gerais/Médicos: Gemma 3-27b, MedGemma-27b (especializado em medicina), SIP-jmed (especializado em japonês/medicina).
  • Modelos de "Pensamento" (Reasoning): Qwen3-Next-80B-A3B-Thinking, gpt-oss-20b, gpt-oss-120b.
  • Outros: Qwen3-Next-80B-A3B-Instruct.
• Benchmarks Realizados:
  • Benchmark A (Geração Estruturada e Extração): Baseado nas regras de relatório da Sociedade Japonesa de Câncer de Mama (19ª edição). Incluiu quatro tarefas:
    • A1: Conversão de JSON para template institucional.
    • A2: Conversão de JSON para template com inferência de estágios (pT) e cálculo de graus (nuclear/histológico).
    • A3: Conversão de JSON para template de diretrizes clínicas.
    • A4: Extração de itens JSON a partir de texto de relatório formatado.
    • Métricas: F1-score, Jaccard, precisão de inferência e taxa de correspondência exata.
  • Benchmark B (Correção de Erros): 31 laudos reais foram injetados com erros sintéticos (deleção, inserção, transposição, erros de kanji). Um patologista avaliou Verdadeiros Positivos (VP), Falsos Positivos (FP), Falsos Negativos (FN) e grandes deleções (LD).
  • Benchmark C (Avaliação Subjetiva): 23 casos complexos foram usados para gerar explicações para residentes. Cinco patologistas e três clínicos avaliaram as saídas em uma escala de 1 a 5 (onde 3-5 são úteis). A concordância interavaliadores foi medida via Coeficiente de Correlação Intraclass (ICC).

3. Principais Contribuições

• Primeiro Benchmark Abrangente em Japonês: Estabelece um padrão de avaliação para LLMs de código aberto no contexto específico de patologia japonesa, abordando tanto tarefas determinísticas quanto subjetivas.
• Comparação de Arquiteturas: Diferencia o desempenho de modelos padrão, modelos especializados em medicina e modelos com capacidades de "pensamento" (reasoning).
• Análise de Viabilidade Local: Demonstra a viabilidade de rodar modelos de grande porte (até 120B parâmetros) em hardware de ponta de consumidor (Mac Studio) para fins clínicos, sem depender de nuvem.

4. Resultados Chave

• Geração Estruturada (Benchmark A):

  • Conversão Simples (A1, A3): Todos os modelos, exceto o SIP-jmed, alcançaram sobreposição de texto quase perfeita. Modelos como Gemma 3 e MedGemma foram rápidos e precisos.
  • Raciocínio e Inferência (A2): Modelos sem capacidade de "pensamento" (Thinking) tiveram desempenho ruim na inferência de estágios e cálculo de graus (precisão próxima ao acaso). Em contraste, os modelos Qwen3-Next-Thinking e gpt-oss alcançaram precisão perfeita ou muito alta, demonstrando vantagem clara em tarefas que exigem raciocínio lógico.
  • Extração (A4): A maioria dos modelos recuperou os dados JSON com alta precisão, embora modelos de "pensamento" tenham introduzido pequenas discrepâncias de formatação.

• Correção de Erros (Benchmark B):

  • O modelo Qwen3-Next-Instruct apresentou o melhor equilíbrio geral (F1 macro de 0.697).
  • Modelos especializados em medicina (MedGemma e SIP-jmed) corrigiram erros específicos de patologia que outros modelos ignoraram, mas o SIP-jmed também gerou o maior número de "grandes deleções" (omissões de frases inteiras).
  • O modelo gpt-oss-20b teve o desempenho mais fraco nesta tarefa.

• Avaliação Subjetiva (Benchmark C):

  • A utilidade dos modelos variou significativamente entre os avaliadores. Apenas cerca de 25-33% das avaliações foram de 4 ou 5 (altamente úteis).
  • Preferências Divergentes: Os patologistas preferiram mais o modelo MedGemma, enquanto os clínicos preferiram o Qwen3-Next-Thinking.
  • Baixa Concordância: A concordância interavaliadores foi baixa (ICC < 0.25 para avaliadores individuais), indicando que a preferência por explicações geradas por IA é altamente subjetiva e depende do estilo individual e do julgamento médico.

5. Significado e Conclusão

O estudo conclui que os LLMs de código aberto têm utilidade limitada, mas clinicamente relevante, para auxiliar na redação de laudos de patologia em japonês, dependendo fortemente da tarefa:

• Modelos de "Pensamento" (Thinking Models): São superiores em tarefas que exigem raciocínio complexo e inferência lógica (ex: cálculo de estágios tumorais).
• Modelos Especializados em Medicina: Mostram vantagens na correção de erros terminológicos específicos e na geração de explicações clínicas.
• Desafio da Subjetividade: A grande variabilidade nas preferências humanas sugere que não existe um "modelo universal" ideal. A implementação prática exigirá personalização das preferências de estilo e validação local.
• Privacidade e Controle: A capacidade de rodar esses modelos localmente oferece uma alternativa viável aos modelos comerciais em nuvem, garantindo a privacidade dos dados dos pacientes, embora exija hardware robusto.

Em suma, o trabalho fornece um roteiro para a integração segura e eficaz de IA de código aberto no fluxo de trabalho de patologia japonesa, destacando que a escolha do modelo deve ser guiada pela tarefa específica a ser realizada.