Leveraging Open-Source Large Language Models for Clinical Information Extraction in Resource-Constrained Settings

Este estudo demonstra que modelos de linguagem de grande escala de código aberto, avaliados através do framework \texttt{llm\_extractinator} no benchmark DRAGON em neerlandês, oferecem soluções eficazes, escaláveis e privadas para a extração de informações clínicas em ambientes com recursos limitados, superando a necessidade de tradução para o inglês e competindo com modelos proprietários.

O essencial

Imagine que os hospitais têm uma biblioteca gigante, mas em vez de livros organizados em prateleiras, eles têm milhões de relatórios médicos escritos à mão, de forma bagunçada e cheia de termos difíceis. Esses relatórios contêm informações vitais sobre pacientes, mas são tão desorganizados que computadores comuns têm muita dificuldade em entendê-los.

Este artigo é como um manual de instruções para construir um "robô tradutor" inteligente que consegue ler essa bagunça e transformá-la em dados organizados, sem precisar de dinheiro caro ou segredos industriais.

Aqui está a explicação, ponto a ponto, usando analogias simples:

1. O Problema: A Biblioteca Bagunçada

Os relatórios médicos são como bilhetes de amor escritos por cientistas: cheios de detalhes importantes, mas escritos em uma linguagem que só eles entendem.

• O Desafio: Para criar Inteligência Artificial (IA) que ajude médicos, precisamos transformar esses bilhetes bagunçados em tabelas de Excel organizadas.
• O Obstáculo: As IAs mais famosas e poderosas (como o GPT-4) são como "caixas pretas" de empresas privadas. Você não sabe o que tem dentro, não pode ver como elas pensam e, o pior, precisa enviar os dados do paciente para servidores externos. Em hospitais, isso é proibido por leis de privacidade (como a LGPD no Brasil ou GDPR na Europa). É como se você tivesse que entregar a chave da sua casa para um estranho para ele arrumar a sala.

2. A Solução: O Kit de Ferramentas "Open-Source"

Os autores criaram um projeto chamado llm extractinator.

• A Analogia: Pense nele como um "kit de ferramentas universal" (como um canivete suíço de software) que você pode baixar de graça. Ele pega os relatórios médicos e os coloca na boca de IAs de código aberto (que são como receitas de bolo públicas: qualquer um pode ver, modificar e usar).
• A Vantagem: Como essas IAs rodam no computador do próprio hospital, os dados do paciente nunca saem dali. É como arrumar a sala dentro da sua própria casa, sem precisar de estranhos.

3. O Teste: A Prova de Fogo (DRAGON)

Os pesquisadores testaram 9 desses "robôs" de código aberto em um desafio chamado DRAGON.

• O Cenário: Imagine um exame de 28 matérias diferentes (desde "existe um nódulo no pulmão?" até "qual o tamanho exato de um tumor?"). O idioma dos exames era o Holandês, uma língua com menos recursos digitais que o inglês.
• Os Participantes: Eles testaram robôs de tamanhos variados. Alguns eram "pequenos" (como um estudante do ensino médio) e outros "gigantes" (como um professor doutor).

4. Os Resultados: Quem Ganhou?

• Os Gigantes e os Medianos: Os modelos com cerca de 14 bilhões de "cérebros" (parâmetros), como o Phi-4, Qwen e DeepSeek, foram excelentes. Eles conseguiram resolver a maioria dos problemas com muita precisão. O modelo gigante Llama-3.3-70B foi o melhor de todos, mas exigiu um computador muito potente (como usar um caminhão para levar uma encomenda pequena).
• Os Pequenos: Os modelos muito pequenos (como o Llama-3.2-3B) foram como tentar resolver um quebra-cabeça complexo com apenas 3 peças. Eles falharam miseravelmente, gerando respostas sem sentido.
• A Lição: Você não precisa necessariamente do modelo mais gigante do mundo. Modelos de tamanho médio, se bem configurados, funcionam muito bem e são mais baratos de rodar.

5. A Grande Descoberta: Não Traduzam!

Um dos achados mais importantes foi sobre a tradução.

• O Erro Comum: Como a maioria das IAs foi treinada em inglês, os pesquisadores tentaram traduzir os relatórios holandeses para inglês antes de pedir a resposta.
• O Resultado: Foi um desastre! A IA ficou confusa. A tradução introduziu "ruído" e perdeu nuances médicas importantes.
• A Metáfora: É como tentar explicar uma piada brasileira para um estrangeiro traduzindo-a palavra por palavra para o inglês. A graça (ou o significado médico) se perde. A IA precisa ler o idioma original para funcionar bem.

6. Onde eles falharam?

A IA foi ótima em tarefas de "números" (como medir o tamanho de um tumor) e em responder "sim ou não". Mas, quando o desafio era encontrar nomes específicos dentro de um texto (como "Nome do Paciente" ou "Data"), ela foi muito ruim.

• Por que? Porque a IA foi treinada para escrever frases, não para caçar palavras soltas em uma lista. É como pedir para um poeta escrever um poema e, de repente, pedir para ele encontrar todas as vírgulas no texto. Não é o que ele faz de melhor.

Resumo Final

Este estudo diz que não precisamos depender de empresas gigantes para processar dados médicos.

1. Podemos usar IAs de código aberto que rodam localmente (segurança total).
2. Modelos de tamanho médio (14 bilhões de parâmetros) são o "ponto ideal": inteligentes o suficiente para ajudar, mas leves o suficiente para rodar em computadores de hospitais comuns.
3. Não traduza os textos médicos; deixe a IA ler no idioma nativo.
4. Ferramentas como o llm extractinator tornam isso fácil para qualquer hospital, mesmo com poucos recursos.

Em suma: É possível ter uma IA médica poderosa, segura e barata, desde que usemos as ferramentas certas e não tentemos encaixar a realidade em modelos que não foram feitos para ela.

Resumo técnico

Resumo Técnico: Extração de Informação Clínica com LLMs de Código Aberto

1. Problema e Contexto

Os relatórios médicos contêm informações clínicas ricas e detalhadas, essenciais para pesquisa em larga escala e desenvolvimento de Inteligência Artificial (IA) na saúde. No entanto, esses dados são frequentemente não estruturados, escritos em linguagem específica de domínio e variam entre instituições.

• Desafios Atuais:
  • Modelos Proprietários: Soluções baseadas em modelos como o GPT-4 enfrentam barreiras de privacidade (envio de dados para servidores externos), falta de transparência e custos elevados, limitando sua adoção em ambientes de saúde com restrições de recursos.
  • Limitações de Recursos Linguísticos: A maioria dos modelos de linguagem (LLMs) é treinada predominantemente em inglês. Para idiomas de recursos médios/baixos, como o holandês, e em contextos de jargão médico especializado, o desempenho dos modelos de código aberto é frequentemente inferior ou não testado.
  • Dependência de Dados Rotulados: Métodos tradicionais de NLP e modelos baseados em BERT exigem grandes quantidades de dados rotulados para cada tarefa, o que é difícil de obter em cenários clínicos reais.

2. Metodologia

Os autores realizaram uma avaliação sistemática de nove LLMs generativos de código aberto no benchmark DRAGON, que consiste em 28 tarefas de extração de informação clínica em relatórios médicos holandeses.

• Framework Desenvolvido (llm_extractinator):

  • Foi criado um framework de código aberto, escalável e agnóstico a idiomas para automatizar a extração de dados.
  • Funcionalidades: Gera prompts a partir de descrições de tarefas (Taskfile), ajusta dinamicamente o tamanho do contexto com base no número de tokens do documento, executa inferência local (usando Ollama) e garante saída estruturada em JSON.
  • Configuração: Todas as experimentações foram feitas em configuração zero-shot (sem fine-tuning e sem exemplos em contexto), testando a capacidade intrínseca dos modelos.
  • Estratégia de Prompting: Utilizou-se Chain-of-Thought (cadeia de pensamento) zero-shot para incentivar o raciocínio passo a passo antes da resposta final.

• Modelos Avaliados:

  • Foco em modelos com menos de 15 bilhões de parâmetros para viabilidade em hardware hospitalar (GPUs de consumo), incluindo: Llama-3.3-70B, Llama-3.1-8B, Llama-3.2-3B, Gemma-2-9B/2B, Phi-4-14B, Qwen-2.5-14B, DeepSeek-R1-14B e Mistral-Nemo-12B.
  • Todos os modelos foram executados em formato quantizado (4-bit) para eficiência.

• Tarefas do DRAGON:

  • 28 tarefas cobrindo: Classificação (binária, multiclasse, multi-rótulo), Regressão (ex: medição de lesões) e Reconhecimento de Entidades Nomeadas (NER).
  • Métricas: AUC, Kappa de Cohen, RSMAPES (para regressão) e F1-score.

3. Principais Contribuições

1. Framework llm_extractinator: Disponibilização pública de uma ferramenta que padroniza e facilita a aplicação de LLMs de código aberto em tarefas de extração de dados clínicos, garantindo saída JSON estruturada e reprodutível.
2. Avaliação Abrangente em Idioma de Recursos Limitados: Primeira avaliação detalhada de múltiplos LLMs modernos em tarefas clínicas complexas em holandês, preenchendo uma lacuna na literatura sobre NLP médico multilíngue.
3. Análise de Tradução vs. Inferência Nativa: Investigação empírica sobre a eficácia de traduzir textos médicos para inglês antes da inferência, provando que essa estratégia é contraproducente neste contexto.

4. Resultados Chave

• Desempenho Geral:
  • Modelos com cerca de 14 bilhões de parâmetros (Phi-4, Qwen-2.5, DeepSeek-R1) e o modelo maior Llama-3.3-70B alcançaram resultados competitivos.
  • Llama-3.3-70B obteve a melhor pontuação geral no DRAGON (SDRAGON = 0,760), superando ligeiramente os modelos de 14B (Phi-4: 0,751; Qwen: 0,748).
  • Modelos menores (3B e 2B parâmetros) falharam consistentemente, produzindo saídas inválidas ou sem sentido, estabelecendo um limite inferior prático para NLP clínico zero-shot em idiomas não ingleses.
• Comparação com Baseline (RoBERTa):
  • O modelo RoBERTa Large (fine-tuned, supervisionado) teve uma pontuação geral superior (0,819).
  • Porém, em 14 das 28 tarefas, o Llama-3.3-70B (zero-shot) superou o RoBERTa. A vantagem do RoBERTa deveu-se principalmente a tarefas de NER e classificação binária específicas.
  • Em tarefas de Regressão (ex: extração de tamanhos de lesões), os LLMs generativos superaram amplamente os modelos baseados em BERT, demonstrando capacidade superior de raciocínio e cópia de valores numéricos.
• Impacto da Tradução:
  • Traduzir os relatórios holandeses para inglês antes da inferência degradou significativamente o desempenho em todos os modelos testados (ex: queda de 0,751 para 0,533 no Phi-4). Isso confirma que a tradução introduz ruído e perde nuances clínicas críticas.
• Desempenho por Tipo de Tarefa:
  • Regressão: Excelente desempenho (médias de RSMAPES > 0,97).
  • Classificação: Desempenho moderado a bom, variável dependendo da tarefa.
  • NER (Reconhecimento de Entidades): Desempenho muito pobre (F1 < 0,47). Os autores atribuem isso à dificuldade dos modelos generativos em formatar listas esparsas de tokens e à natureza das tarefas de NER no benchmark, sugerindo que a avaliação pode subestimar a capacidade real dos modelos para essas tarefas.

5. Significado e Conclusão

O estudo demonstra que LLMs de código aberto, quando utilizados com frameworks adequados, oferecem soluções viáveis, escaláveis e privadas para extração de informação clínica em ambientes com recursos limitados.

• Privacidade e Controle: A capacidade de rodar modelos localmente (on-premise) resolve as preocupações de conformidade com regulamentos de proteção de dados (como GDPR) ao evitar o envio de dados sensíveis para APIs externas.
• Viabilidade Prática: Modelos de ~14B parâmetros oferecem o melhor equilíbrio entre desempenho e custo computacional, sendo executáveis em GPUs de consumo comuns em hospitais.
• Importância do Idioma Nativo: A pesquisa reforça que a inferência direta no idioma original do relatório médico é superior à tradução prévia, especialmente em domínios técnicos como a medicina.
• Futuro: Embora os modelos zero-shot não superem totalmente os modelos supervisionados (fine-tuned) em todas as métricas, eles se aproximam ou superam em tarefas específicas (como regressão) sem a necessidade de dados rotulados, tornando-se uma alternativa poderosa para cenários onde a criação de datasets de treinamento é inviável.

Em suma, o trabalho valida o uso de LLMs de código aberto como uma ferramenta prática para modernizar a infraestrutura de dados em saúde, democratizando o acesso a tecnologias de ponta de IA sem comprometer a privacidade dos pacientes.