💬 NLP

Benchmarking and Adapting On-Device LLMs for Clinical Decision Support

Este artigo avalia e adapta vários modelos de linguagem grandes de código aberto para dispositivos móveis para suporte à decisão clínica, demonstrando que podem alcançar precisão diagnóstica comparável ou superior aos modelos proprietários mais avançados, ao mesmo tempo que oferecem privacidade e eficiência de recursos superiores, especialmente quando aprimorados por meio de ajuste fino.

Autores originais: Alif Munim, Jun Ma, Omar Ibrahim, Alhusain Abdalla, Shuolin Yin, Leo Chen, Bo Wang

Publicado 2026-04-29

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Alif Munim, Jun Ma, Omar Ibrahim, Alhusain Abdalla, Shuolin Yin, Leo Chen, Bo Wang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um detetive médico brilhante, mas, em vez de viver em um arranha-céu gigante baseado em nuvem onde precisa de um supercomputador para pensar, você quer manter esse detetive no seu bolso ou em seu computador local. Este artigo trata de testar uma nova geração desses "detetives de bolso" (chamados de Modelos de Linguagem de Grande Porte em Dispositivo) para ver se eles são inteligentes o suficiente para ajudar médicos a tomar decisões sem precisar enviar dados sensíveis de pacientes para a internet.

Aqui está a história de sua jornada, explicada de forma simples:

O Problema: A "Nuvem" vs. O "Local"

Atualmente, os modelos de IA médica mais inteligentes são como bibliotecas gigantes e caras que existem apenas na internet. Para usá-los, um médico precisa enviar anotações de pacientes para um servidor remoto. Isso levanta duas grandes bandeiras vermelhas:

Privacidade: Enviar dados de pacientes para fora do local pode violar regras estritas dos hospitais.
Custo e Acesso: Essas bibliotecas gigantes exigem computadores massivos e caros para funcionar, o que muitas clínicas não podem pagar.

A comunidade de código aberto tentou construir versões menores e locais, mas as melhores ainda eram muito pesadas (como tentar carregar uma enciclopédia completa em uma mochila). Este artigo perguntou: Podemos construir um "detetive" pequeno o suficiente para caber em um computador padrão, mas inteligente o suficiente para resolver mistérios médicos?

O Experimento: Os Três Testes

Os pesquisadores submeteram vários novos "detetives de bolso" (especificamente os modelos chamados gpt-oss, Qwen3.5 e Gemma 4) a três testes diferentes para ver como eles se comparavam às "bibliotecas gigantes em nuvem" (como GPT-5 e Gemini).

1. O Teste do Generalista (O Médico de Emergência)

A Tarefa: A IA precisava examinar o histórico do paciente e relatórios de raio-X/Ressonância Magnética e escolher a doença correta de uma lista.
O Resultado: Os pequenos detetives locais performaram surpreendentemente bem. Um modelo, o Gemma 4, foi a estrela do show, obtendo 86,5% de precisão. Isso foi melhor que a versão "mini" do modelo gigante em nuvem (GPT-5-mini) e quase tão bom quanto o modelo de nuvem de ponta.
A Analogia: É como um mecânico local que, sem precisar chamar um engenheiro mestre em outro país, consegue identificar corretamente 86 de 100 problemas de motor de carro apenas olhando para o painel.

2. O Teste do Especialista (O Oftalmologista)

A Tarefa: A IA precisava responder a perguntas de múltipla escolha difíceis sobre doenças oculares e como tratá-las.
O Resultado: Um modelo local maior (gpt-oss-120b) na verdade superou os principais modelos em nuvem nesta área específica. Isso mostrou que modelos locais podem ser especialistas em campos específicos, não apenas generalistas.

3. O Teste do Juiz (O Revisor)

A Tarefa: Em vez de diagnosticar, a IA precisava atuar como um supervisor, avaliando o trabalho de outros modelos de IA para ver se seus conselhos eram bons.
O Resultado: Os modelos locais foram juízes excelentes. Eles concordaram com especialistas humanos quase perfeitamente, mostrando que entendem as regras do raciocínio médico, não apenas os fatos.

O Truque de Mágica: "Ajuste Fino"

Os pesquisadores perceberam que, embora os modelos locais fossem bons, eles poderiam ser excelentes. Eles pegaram dois dos modelos locais e deram a eles um "curso intensivo" (chamado de ajuste fino) usando milhares de casos médicos passados.

A Analogia: Imagine um estudante inteligente que conhece ciências gerais. Se você der a ele um livro didático específico com questões e respostas de exames passados, ele não apenas memoriza; ele aprende como pensar sobre esses problemas específicos.
O Resultado: Após esse treinamento, os modelos locais saltaram em desempenho. Um modelo (Qwen3.5) passou de "bom" para 87,9% de precisão, o que é quase idêntico ao modelo em nuvem mais poderoso e caro (89,4%).
Insight Chave: Isso prova que você não precisa de um modelo massivo para obter resultados de ponta; você apenas precisa de um modelo menor que tenha sido especificamente treinado com os dados certos.

A Análise da "Rede de Segurança"

Os pesquisadores também analisaram os erros que os modelos cometeram. Eles encontraram algo muito reconfortante:

Nenhum Palpite Selvagem: Quando os modelos erraram, raramente inventaram doenças falsas (alucinações). Em vez disso, 87% das vezes, eles escolheram uma diferente doença real que era, na verdade, uma possibilidade razoável.
A Analogia: Se um detetive chuta o suspeito errado, ele geralmente chuta um suspeito que poderia ter feito isso, em vez de chutar um fantasma ou uma árvore. Isso significa que os erros são "clinicamente plausíveis", o que é muito mais seguro do que um palpite aleatório.

A Conclusão

Este artigo afirma que não precisamos mais depender de IA gigante, cara e baseada em nuvem para obter ajuda médica de alta qualidade.

Privacidade: Você pode executar esses modelos em um único computador em uma sala de hospital sem enviar dados para lugar nenhum.
Desempenho: Com um pouco de treinamento específico, esses modelos pequenos podem igualar ou superar o desempenho dos maiores e mais caros sistemas de IA.
Futuro: Isso abre a porta para que hospitais tenham seus próprios assistentes de IA privados e poderosos que respeitam a privacidade do paciente e funcionam mesmo quando a internet está fora do ar.

Em resumo: Modelos pequenos e locais agora podem fazer o trabalho pesado do diagnóstico médico, desde que recebam o treinamento adequado.

1. Declaração do Problema

Embora os Modelos de Linguagem de Grande Porte (LLMs) mostrem promessa no suporte à decisão clínica, sua implantação no mundo real é dificultada por três barreiras principais:

Privacidade e Governança: Modelos proprietários hospedados em nuvem exigem a transmissão de dados sensíveis de pacientes para servidores externos, violando políticas de governança de dados em muitas instituições de saúde.
Restrições de Recursos: Modelos open-source de última geração (por exemplo, DeepSeek-R1 com 671B de parâmetros) são grandes demais para implantação local em hardware clínico padrão, tornando o ajuste fino e a inferência proibitivamente caros.
Custo e Controle: Modelos proprietários carecem de transparência e incorrem em altos custos operacionais, enquanto alternativas open-source atuais frequentemente exigem recursos computacionais massivos (clusters multi-GPU) indisponíveis em clínicas típicas.

O artigo aborda a seguinte questão: LLMs menores, executados em dispositivos (rodando em GPUs de consumidor individuais), podem alcançar desempenho de raciocínio clínico comparável a modelos proprietários de fronteira, e podem ser efetivamente adaptados via ajuste fino para tarefas clínicas específicas?

2. Metodologia

A. Seleção de Modelos

O estudo avalia três famílias de modelos on-device contra bases de referência proprietárias e open-source líderes:

Modelos On-Device:
- gpt-oss: 20B e 120B de parâmetros (otimizados para GPUs de consumidor de 16GB e 80GB, respectivamente).
- Qwen3.5: 9B, 27B e 35B de parâmetros.
- Gemma 4: 31B de parâmetros.
Bases de Referência:
- Proprietários: GPT-5.1, GPT-5-mini, Gemini 3.1 Pro.
- Open-Source: DeepSeek-R1 (671B).

B. Tarefas de Benchmark e Conjuntos de Dados

Três cenários clínicos representativos foram avaliados usando inferência zero-shot (k=3 autoconsistência):

LLM como Generalista (Diagnóstico Geral):
- Conjunto de Dados: 207 relatórios de casos radiológicos da biblioteca Eurorad (2025 casos para prevenir vazamento de dados).
- Tarefa: Selecionar o diagnóstico correto de uma lista diferencial fornecida com base no histórico clínico e achados de imagem.
LLM como Especialista (Oftalmologia):
- Conjunto de Dados: 130 perguntas de múltipla escolha (39 de diagnóstico, 91 de manejo) cobrindo seis subespecialidades oftalmológicas.
- Tarefa: Classificação multi-rótulo (selecionar todas as respostas corretas).
LLM como Juiz Clínico:
- Conjunto de Dados: 1.315 casos com pontuações de especialistas humanos em cinco especialidades (Medicina Interna, Neurologia, Cirurgia, Ginecologia, Pediatria).
- Tarefa: Simular especialistas humanos para pontuar diagnósticos existentes/planos de tratamento em uma escala Likert de 1 a 5.

C. Estratégia de Adaptação (Ajuste Fino)

Para testar a adaptabilidade, os autores ajustaram finamente gpt-oss-20b e Qwen3.5-35B:

Curadoria de Dados: Utilizou-se um modelo maior e arquiteturalmente correspondente da mesma família (gpt-oss-120b e Qwen3.5-122B) para gerar traços de raciocínio de Cadeia de Pensamento (CoT) de alta qualidade para 1.895 casos históricos do Eurorad.
Técnica: Adaptação de Baixo Rango (LoRA) com direcionamento específico de camadas lineares e camadas de especialistas.
Otimização de Inferência:
- gpt-oss-20b: Utilizou Busca em Feixe Agrupado (13 feixes) para explorar caminhos de raciocínio diversos.
- Qwen3.5-35B: Utilizou geração autoregressiva padrão com temperatura 0,7.

D. Análise de Erros

Taxonomia: Previsões incorretas foram classificadas em cinco categorias: incompatibilidade de forma superficial, mesma família de doenças, diferencial plausível, fora do tópico/alucinação e vazio/recusa.
Análise de Limite Superior: Calculou-se a precisão "pass@3" para determinar o teto teórico se a melhor resposta de três execuções fosse selecionada.

3. Principais Contribuições

Benchmark Abrangente: A primeira avaliação sistemática de LLMs on-device (faixa de 5B–120B) contra modelos proprietários de fronteira em diagnóstico geral, cuidados especializados e simulação de julgamento clínico.
Framework de Adaptabilidade: Demonstrou que o ajuste fino de modelos on-device usando traços de raciocínio de modelos maiores e correspondentes da mesma família aumenta significativamente o desempenho sem aumentar a pegada de memória.
Caracterização de Erros: Fornecimento de uma análise granular mostrando que a maioria dos erros são "diferenciais plausíveis" (escolhas clinicamente sólidas, mas incorretas) em vez de alucinações, sugerindo que os modelos estão raciocinando corretamente, mas carecem de conhecimento específico.
Caminho de Preservação de Privacidade: Validou que IA clínica de alta precisão pode rodar localmente em hardware de consumidor (GPU única), eliminando a necessidade de transmissão de dados para a nuvem.

4. Principais Resultados

Comparação de Desempenho (Zero-Shot)

Diagnóstico Geral:
- Gemma 4 31B alcançou a maior precisão base on-device (86,5%), superando o GPT-5-mini (84,5%) e aproximando-se do GPT-5.1 (89,4%).
- Qwen3.5-35B atingiu 84,1%, igualando o GPT-5-mini e superando o DeepSeek-R1 (81,6%).
- gpt-oss-20b alcançou 80,7%, comparável ao DeepSeek-R1 apesar de ser ~30x menor em número de parâmetros.
Oftalmologia (Especialista):
- gpt-oss-120b alcançou 77,7% de precisão geral, superando o GPT-5.1 (76,9%) e o GPT-5-mini (67,7%).
- Os modelos consistentemente performaram melhor em tarefas de diagnóstico do que em tarefas de manejo.
Julgamento Clínico:
- Modelos on-device (Qwen3.5 e Gemma 4) alcançaram um erro diagnóstico mediano de 0,00, alinhando-se perfeitamente com o consenso de especialistas humanos, igualando os melhores modelos proprietários.

Impacto do Ajuste Fino

gpt-oss-20b: A precisão aumentou de 80,7% para 86,5%, superando o DeepSeek-R1 e o GPT-5-mini.
Qwen3.5-35B: A precisão aumentou de 84,1% para 87,9%, reduzindo a lacuna para o GPT-5.1 (89,4%) para apenas 1,5 pontos percentuais.
Eficiência: O ajuste fino melhorou a precisão sem aumentar a pegada de memória (permaneceu ~18–20 GB para quantização de 4 bits), enquanto o DeepSeek-R1 requer ~386 GB.

Insights da Análise de Erros

Diferenciais Plausíveis: 87,2% de todos os erros entre os modelos foram "diferenciais plausíveis" (selecionar um diagnóstico válido, mas incorreto, da lista). Apenas 5% foram incompatibilidades de forma superficial.
Alucinações: Erros fora do tópico/alucinados foram restritos aos menores modelos (Qwen3.5 9B/27B). Todos os modelos $\ge$ 20B de parâmetros (incluindo os ajustados finamente) produziram zero erros fora do tópico.
Desempenho Recuperável: A análise de limite superior mostrou que até 93,2% de precisão é alcançável para o Qwen3.5-35B via melhores estratégias de seleção de respostas.
Casos Difíceis: Os casos restantes não resolvidos (aproximadamente 11%) eram subtipos histopatológicos raros ou síndromes, representando uma "fronteira de conhecimento" em vez de uma falha arquitetural.

5. Significado

Viabilidade de IA Local: O estudo prova que o suporte à decisão clínica de alta fidelidade não requer infraestrutura massiva em nuvem. Modelos compactos (5–20 GB) podem rivalizar ou exceder o desempenho de sistemas proprietários muito maiores quando adequadamente adaptados.
Privacidade e Soberania: Ao permitir inferência on-device, instituições de saúde podem manter estrita soberania de dados, cumprindo regulamentações (por exemplo, HIPAA, GDPR) sem comprometer a qualidade diagnóstica.
Custo-Efetividade: A capacidade de ajustar finamente modelos pequenos usando traços de raciocínio de membros maiores da mesma família oferece um caminho escalável e de baixo custo para hospitais personalizarem IA para suas demografias específicas de pacientes e prevalências de doenças.
Confiabilidade: A descoberta de que modelos on-device maiores produzem zero alucinações e se alinham perfeitamente com a pontuação de especialistas humanos sugere que são candidatos seguros para sistemas de "segunda opinião" e auditoria automatizada em fluxos de trabalho clínicos.

Em conclusão, o artigo estabelece que LLMs on-device são uma alternativa prática, precisa e que preserva a privacidade aos sistemas proprietários baseados em nuvem para suporte à decisão clínica, desde que sejam selecionados cuidadosamente (por exemplo, Gemma 4, Qwen3.5) e adaptados via ajuste fino direcionado.