Evaluation and LLM-Guided Learning of ICD Coding Rationales

Este trabalho avalia a explicabilidade de códigos ICD focando em fidelidade e plausibilidade, introduzindo um novo conjunto de dados anotado e demonstrando que o uso de justificativas geradas por LLMs como sinal de supervisão distante, combinado com exemplos humanos, melhora significativamente a geração de explicações plausíveis.

O essencial

Imagine que você está em um hospital e o médico escreve um relatório sobre sua saúde. Esse relatório é cheio de termos técnicos, frases longas e detalhes confusos. Agora, imagine que um computador precisa ler esse texto e transformá-lo em códigos padronizados (como o código "E11.9" para diabetes tipo 2) para que o hospital possa cobrar o seguro e registrar seus dados.

Esse processo é chamado de Codificação ICD. O problema é que, até agora, os computadores faziam isso como "caixas-pretas": eles davam a resposta certa, mas ninguém sabia por que chegaram a essa conclusão. Isso gera desconfiança. Se o computador errar, quem é o culpado? O médico? O algoritmo?

Este artigo é como uma investigação para abrir essa caixa-preta e ensinar o computador a explicar suas decisões de forma que os humanos entendam.

Aqui está o resumo da história, usando analogias simples:

1. O Problema: O "Detetive" que não explica suas pistas

Antes, os computadores usavam uma técnica chamada "atenção" para tentar destacar as partes do texto que eram importantes. Era como se o computador usasse um marcador amarelo no texto. Mas, muitas vezes, o computador marcava coisas aleatórias (como a data ou o nome do médico) em vez da doença real. Além disso, não havia um "manual de instruções" (um conjunto de dados) feito especificamente para testar se essas marcações faziam sentido para um médico humano.

2. A Solução: O "Estagiário Inteligente" (LLM)

Os autores do artigo tiveram uma ideia brilhante: e se usássemos uma Inteligência Artificial muito avançada (chamada de LLM, como o Gemini ou o ChatGPT) para atuar como um "estagiário superinteligente"?

• O Estagiário: Eles pediram para esse estagiário ler os relatórios médicos e destacar as frases exatas que justificavam um diagnóstico.
• O Resultado: O estagiário foi excelente! Ele destacou as partes certas, como um médico faria. Isso serviu como uma "prova de conceito" de que é possível gerar explicações convincentes.

3. O Novo Tesouro: O Mapa do Tesouro (O Novo Dataset)

Para testar se os computadores estavam realmente aprendendo, os pesquisadores criaram um novo conjunto de dados chamado RD-IV-10.

• A Analogia: Imagine que o antigo conjunto de dados (MDACE) era um mapa antigo, desbotado e com erros de tradução (usava códigos médicos velhos). O novo dataset é um mapa moderno, em alta definição e atualizado, feito por especialistas humanos. Nele, cada código médico tem várias "pistas" (explicações) anotadas, não apenas uma.

4. O Experimento: Quem é o melhor detetive?

Eles compararam três tipos de "detetives" para ver quem conseguia encontrar as pistas certas:

1. O Computador Tradicional (Modelos de Atenção): Usava apenas matemática para marcar palavras. Resultado: Fez um trabalho ruim. Marcava coisas erradas e não convincente para humanos.
2. O "Google Tradutor" de Entidades (Entity Linking): Procurava nomes de doenças no texto. Resultado: Fez um trabalho razoável, mas muitas vezes perdia o contexto (sabia que era "diabetes", mas não sabia qual tipo ou gravidade).
3. O Estagiário Inteligente (LLM): Resultado: Vencedor absoluto. As explicações que ele gerou foram as mais parecidas com as de um médico humano.

5. O Grande Truque: Ensinar o Computador a Pensar (Aprendizado Guiado)

Aqui está a parte mais mágica. Como os computadores tradicionais são ruins em explicar, mas o "Estagiário Inteligente" é bom, os pesquisadores usaram o Estagiário para treinar os computadores tradicionais.

• A Analogia do Mestre e do Aprendiz: Eles usaram as explicações do Estagiário (o Mestre) como um "chefe de estudo" para ensinar o Computador Tradicional (o Aprendiz).
• O Efeito "Few-Shot" (Poucos Exemplos): Eles deram ao Estagiário alguns exemplos reais de como um humano faria a anotação antes de pedir para ele trabalhar. Foi como dar uma "cola" ou um "exemplo de prova" para o estagiário.
• O Resultado: O Estagiário ficou ainda melhor, e o Computador Tradicional, ao aprender com essas anotações melhoradas, também começou a gerar explicações muito mais convincentes e precisas.

Conclusão: Por que isso importa?

Este trabalho é importante porque:

1. Confiança: Agora, quando um computador sugerir um código médico, ele pode mostrar as frases exatas do relatório que justificam essa escolha. Isso dá confiança aos médicos.
2. Transparência: Não é mais uma "caixa-preta". Sabemos o que o computador está pensando.
3. Futuro: Eles provaram que usar Inteligência Artificial para "ensinar" outras IAs a explicarem suas decisões é um caminho muito promissor e eficiente.

Em resumo: Eles criaram um novo manual de instruções, contrataram um estagiário superinteligente para fazer o trabalho de explicação e usaram esse estagiário para treinar os computadores antigos a não serem mais "caixas-pretas", mas sim parceiros transparentes na medicina.

Resumo técnico

Título: Avaliação e Aprendizado Guiado por LLM de Racionais de Codificação ICD

1. O Problema

A codificação clínica (ICD) é o processo de mapear textos não estruturados de Prontuários Eletrônicos de Saúde (EHR) para códigos padronizados. Embora modelos de aprendizado profundo tenham alcançado alta precisão nessa tarefa, eles carecem de explicabilidade, o que compromete a confiança e a transparência necessárias para a adoção em ambientes clínicos.

As principais lacunas identificadas pelos autores são:

• Falta de Dados de Avaliação: Não existia um conjunto de dados de "racionais" (evidências textuais que justificam um código) especificamente projetado para a codificação ICD moderna (ICD-10/MIMIC-IV). O recurso existente (MDACE) baseava-se no antigo MIMIC-III (ICD-9), apresentando deslocamento de distribuição de rótulos e anotações esparsas.
• Avaliação Limitada: Estudos anteriores focavam quase exclusivamente em racionais baseados em attention (atenção) de modelos, sem comparações sistemáticas com outros tipos de explicações (como entidades ou LLMs).
• Escassez de Métodos de Aprendizado: A ausência de grandes conjuntos de dados supervisionados com anotações de racionais impedia o treinamento de modelos dedicados a gerar explicações plausíveis.

2. Metodologia

O trabalho propõe uma abordagem em três etapas principais:

A. Construção de um Novo Conjunto de Dados (RD-IV-10)

• Os autores criaram o RD-IV-10, um conjunto de dados anotado por profissionais médicos baseado no banco MIMIC-IV e no sistema ICD-10.
• Diferente do MDACE, este dataset oferece anotações mais ricas e granulares (palavras, frases, sentenças completas ou parciais) para cada código, capturando menções diretas e indiretas, medicamentos e fatores clínicos relevantes.
• O dataset contém 150 documentos com anotações detalhadas, servindo como "padrão-ouro" para avaliação.

B. Avaliação de Explicabilidade
A explicabilidade foi avaliada em duas dimensões fundamentais:

1. Fidelidade (Faithfulness): Mede até que ponto os racionais extraídos refletem o raciocínio interno do modelo. Avaliada através de Sufficiency (o modelo mantém a precisão se apenas o racional for usado?) e Comprehensiveness (a precisão cai drasticamente se o racional for removido?).
2. Plausibilidade (Plausibility): Mede quão convincentes os racionais são para humanos. Avaliada comparando os racionais gerados com as anotações humanas do RD-IV-10, usando métricas de correspondência exata e independente de posição (tokens e spans).

C. Tipos de Racionais Avaliados
O estudo comparou três categorias de racionais:

1. Baseados em Entidades (Naive): Extraídos via Entity Linking (SNOMED CT).
2. Gerados por Modelos (Attention): Extraídos das camadas de atenção de modelos clássicos (CAML, LAAT, PLM-ICD).
3. Gerados por LLMs (Strong): Extraídos usando Large Language Models (Gemini 2-Flash, Gemini 1.5-Pro, LLaMA-3.3) com prompting.

D. Aprendizado Guiado por LLM (LLM-Guided Learning)

• Sinal de Supervisão Distante: Utilizaram os racionais gerados pelo LLM (Gemini 2-Flash) como rótulos fracos para treinar modelos de codificação.
• Abordagens de Aprendizado:
  • Aprendizado Multi-objetivo: Adicionou uma função de perda para minimizar a diferença entre os pesos de atenção do modelo e as máscaras de racionais geradas pelo LLM.
  • Formulação NER (Reconhecimento de Entidades Nomeadas): Reformulou a tarefa de codificação e extração de racionais como um único problema de NER, onde o modelo aprende a identificar os tokens que sustentam o código.
• Few-Shot Prompting: Incorporaram exemplos humanos anotados do RD-IV-10 nos prompts dos LLMs para melhorar a qualidade dos racionais gerados, que por sua vez melhoraram o treinamento dos modelos estudantes.

3. Principais Contribuições

1. Novo Dataset RD-IV-10: O primeiro conjunto de dados de racionais específico para ICD-10/MIMIC-IV, com anotações de alta qualidade e granularidade variada.
2. Avaliação Abrangente: A primeira comparação sistemática de fidelidade e plausibilidade entre racionais baseados em entidades, attention e LLMs.
3. Métodos de Aprendizado: Proposição de duas abordagens para aprendizado de racionais supervisionados por LLMs, demonstrando que a formulação NER supera o aprendizado multi-objetivo em plausibilidade.
4. Validação do Few-Shot: Demonstração de que poucos exemplos humanos nos prompts de LLMs melhoram significativamente tanto a geração de racionais quanto o desempenho dos modelos treinados com esses dados.

4. Resultados Chave

• Fidelidade: Os modelos baseados em attention (especialmente PLM-ICD) mostraram fidelidade moderada, mas os racionais extraídos por eles não se alinhavam bem com as explicações humanas.
• Plausibilidade:
  • LLMs Vencem: O Gemini 2-Flash gerou os racionais mais plausíveis, superando significativamente tanto as entidades ligadas quanto os modelos baseados em attention (que tiveram desempenho próximo de zero em métricas de span).
  • Impacto do Few-Shot: O uso de exemplos humanos nos prompts do Gemini aumentou a pontuação F1 em até 50% em algumas métricas de correspondência de span e token.
• Aprendizado de Racionais:
  • A abordagem Multi-objetivo melhorou ligeiramente a plausibilidade sem degradar a precisão da codificação.
  • A abordagem NER alcançou a maior plausibilidade de nível de span, superando até mesmo o próprio modelo professor (Gemini 2-Flash), embora tenha sofrido uma pequena queda na precisão geral da codificação (trade-off entre precisão e explicabilidade).
  • O modelo NER treinado com dados gerados por LLMs (com few-shot) superou consistentemente o modelo treinado sem exemplos.

5. Significado e Impacto

Este trabalho é fundamental para o avanço da IA explicável na saúde por várias razões:

• Padrão de Avaliação: Estabelece um novo padrão para avaliar a qualidade das explicações em codificação médica, movendo-se além de métricas puramente baseadas em attention.
• Viabilidade de LLMs: Demonstra que LLMs podem atuar como anotadores eficientes e de alta qualidade para gerar "rótulos fracos" de racionais, contornando o custo e a dificuldade de anotação humana em larga escala.
• Novo Paradigma de Treinamento: A formulação NER proposta oferece um caminho viável para treinar modelos que não apenas preveem códigos, mas também justificam suas decisões de forma compreensível para humanos, um requisito crítico para a adoção clínica.
• Recursos Abertos: O dataset RD-IV-10 e o código são disponibilizados publicamente, permitindo a reprodutibilidade e o avanço futuro na pesquisa de codificação clínica explicável.

Em resumo, o artigo prova que a combinação de LLMs para geração de dados de treinamento e estratégias de aprendizado supervisionado (como NER) pode resolver o dilema da explicabilidade na codificação ICD, gerando modelos que são tanto precisos quanto transparentes.