💻 computer science

A Multi-Criteria Decision Framework for Aggregating Ranked ICD-10 Code Suggestions from Large Language Models

Este estudo demonstra que a aplicação de métodos de agregação de ranking de Análise de Decisão Multicritério, particularmente o Borda Count e o Reciprocal Rank Fusion, para combinar saídas de múltiplos Grandes Modelos de Linguagem melhora significativamente a precisão e a estabilidade da codificação clínica automatizada de ICD-10 em comparação ao uso de modelos individuais ou esquemas de votação simples.

Autores originais: Ricardo da Silva Santos, Murilo Gleysson Gazzola, Paulo Marcelino Figueira, Adriana Gomes Luz, Rodolfo de Carvalho Pacagnella, Cristiano Torezzan

Publicado 2026-08-13

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Ricardo da Silva Santos, Murilo Gleysson Gazzola, Paulo Marcelino Figueira, Adriana Gomes Luz, Rodolfo de Carvalho Pacagnella, Cristiano Torezzan

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando resolver um quebra-cabeça gigante e bagunçado onde as peças são diagnósticos médicos. No mundo da saúde, cada história de paciente precisa ser traduzida em um código específico, como uma linguagem secreta chamada CID-10, para que os hospitais possam rastrear doenças e receber pagamentos. Mas essa linguagem é enorme, complicada e cheia de regras traiçoeiras. Recentemente, programas de computador superinteligentes chamados Modelos de Linguagem de Grande Escala (LLMs) aprenderam a adivinhar esses códigos lendo as notas dos médicos. Pense nesses modelos como uma equipe de detetives brilhantes, mas ligeiramente diferentes. Cada detetive analisa o mesmo arquivo de caso e chega à sua própria lista de suspeitos (os códigos), classificados de "mais provável" para "menos provável". O problema é que, às vezes, o Detetive A acha que o Suspeito X é o culpado, enquanto o Detetive B está convencido de que é o Suspeito Y. Se você ouvir apenas um detetive, pode errar. É aqui que entra um campo chamado Análise de Decisão Multicritério. É, basicamente, a arte de pegar muitas opiniões diferentes e misturá-las para encontrar a resposta única e melhor, algo como como um júri combina testemunhos para chegar a um veredito. A grande questão é: como você mistura essas listas de suspeitos para que o grupo final seja mais inteligente do que qualquer detetive individual sozinho?

Este artigo aborda exatamente essa questão, tratando cada modelo de IA como um "votante" separado em uma grande eleição para os códigos médicos corretos. Os pesquisadores pegaram 1.117 notas médicas obstétricas (relacionadas à gravidez) reais, escritas em português do Brasil, e pediram a cinco modelos de IA poderosos e diferentes que gerassem uma lista classificada de possíveis códigos para cada nota. Em vez de escolher o vencedor de apenas um modelo, eles testaram três maneiras diferentes de combinar todas as listas em uma lista de "consenso". Eles testaram um método simples chamado "Votação de Pluralidade" (onde o código que aparece no topo da maioria das listas vence), um método mais detalhado chamado "Contagem de Borda" (onde um código recebe pontos com base em quão alto ele aparece em todas as listas, não apenas no primeiro lugar) e um método chamado "Fusão de Classificação Recíproca" (que dá um grande impulso aos códigos que aparecem perto do topo, mas ainda conta aqueles que estão mais abaixo).

Os resultados foram bastante claros e surpreendentes em sua simplicidade. A equipe descobriu que combinar os modelos quase sempre funcionava melhor do que confiar em um único melhor modelo sozinho. Especificamente, o método "Contagem de Borda" foi o grande destaque. Quando os pesquisadores observaram as 3 sugestões principais (um número que eles consideraram o ponto ideal para equilibrar precisão e cobertura), o método da Contagem de Borda melhorou a precisão geral em cerca de 20% no nível de categoria ampla e quase 19% no nível de código específico em comparação com a melhor IA individual. Isso sugere que ouvir a "multidão" de modelos de IA, especialmente prestando atenção em onde um código aparece na lista de todos, cria uma decisão muito mais confiável do que depender de um único especialista.

No entanto, o artigo também descarta algumas coisas. Descobriu-se que o método mais simples, a Votação de Pluralidade (apenas contando quem é o nº 1), não funcionou tão bem quanto os métodos mais sutis que olhavam para todo o ranking. Também mostrou que você não pode simplesmente continuar adicionando mais sugestões à lista para sempre. Embora adicionar mais códigos ajude você a capturar mais diagnósticos verdadeiros (recall), isso acaba prejudicando a precisão porque você começa a incluir muitos palpites errados (precision). O estudo sugere que o "número de ouro" é 3; ir além disso faz com que a qualidade da decisão comece a cair. Além disso, os autores observam que simplesmente dar mais peso aos modelos "mais fortes" não ajudou muito; a combinação simples e não ponderada de todos os modelos foi tão boa quanto as combinações complexas e ponderadas.

Em suma, o artigo sugere que, para codificação clínica, a melhor estratégia não é encontrar o modelo de IA perfeito, mas deixar alguns diferentes votarem, usando um sistema que respeite suas classificações completas. Essa abordagem oferece uma maneira prática e robusta de melhorar a tomada de decisão médica sem a necessidade de retreinar os modelos ou espiar dentro de suas "caixas pretas". As descobertas são baseadas em dados reais e testes estatísticos com intervalos de confiança, mostrando que este método é uma forma estável e eficaz de lidar com a realidade bagunçada da codificação médica.

Resumo Técnico: Um Framework de Decisão Multicritério para Agregação de Sugestões de Códigos ICD-10 Ranqueados de Grandes Modelos de Linguagem

Formulação do Problema
A codificação clínica automatizada utilizando a Classificação Internacional de Doenças, 10ª Revisão (ICD-10) continua sendo um desafio complexo devido à natureza hierárquica da taxonomia e à variabilidade da terminologia médica. Embora os Grandes Modelos de Linguagem (LLMs) tenham demonstrado capacidade de gerar listas ranqueadas de códigos candidatos da ICD-10 a partir de textos clínicos não estruturados, modelos individuais frequentemente exibem instabilidade e confiabilidade limitada quando usados isoladamente. Diferentes modelos podem produzir classificações conflitantes para a mesma nota clínica devido a variações em dados de treinamento e arquiteturas.

Este estudo aborda o problema de decisão de como agregar essas saídas ranqueadas díspares em um consenso único e confiável. Os autores formulam a atribuição de códigos ICD-10 como um problema de Análise de Decisão Multicritério (MCDA), onde cada LLM atua como um agente de decisão independente fornecendo uma ordenação de preferência sobre códigos candidatos. O desafio central envolve determinar a estratégia de agregação ideal e o número de códigos mais bem classificados ( $k$ ) a serem selecionados para equilibrar precisão e revocação (recall) em um contexto prático de suporte à decisão.

Metodologia
A pesquisa utiliza um conjunto de dados de 1.117 notas clínicas obstétricas em português do Brasil, cada uma anotada com códigos ICD-10 de referência (ground-truth). O estudo emprega cinco LLMs distintos (GPT-4o, DeepSeek-V3, Maritalk Sabiá-3.1, Gemini 1.5 Flash e GPT-4o-Mini) como agentes de decisão. Esses modelos geram listas ranqueadas de códigos candidatos para cada documento.

O estudo avalia três métodos clássicos de agregação de ranking da teoria da votação e MCDA:

Votação de Pluralidade (Plurality Voting): Uma abordagem de "maioria simples" onde um código recebe um voto apenas se aparecer no top- $k$ de um ranking de um modelo, independentemente de sua posição específica dentro desse intervalo.
Contagem de Borda (Borda Count): Uma regra de pontuação posicional onde um código na posição $r$ em uma lista de $n$ candidatos recebe $(n - r + 1)$ pontos. Este método aproveita toda a estrutura de ranking em vez de apenas a presença no top- $k$ .
Fusão de Ranking Recíproco (Reciprocal Rank Fusion - RRF): Um método que atribui pesos baseados no recíproco da posição do ranking ( $1 / (k_0 + r)$ ), suavizando as contribuições de itens de menor ranking enquanto prioriza os de topo.

O desempenho é avaliado utilizando Micro-Precisão, Micro-Recall e Micro-F1 em dois níveis de granularidade: o nível de categoria de 3 caracteres e o nível de código completo ("folha"). A robustez é avaliada usando reamostragem bootstrap com intervalos de confiança de 95%. O estudo analisa especificamente o impacto da variação de $k$ (o número de códigos selecionados) de 1 a 10.

Principais Contribuições
O artigo apresenta três contribuições primárias:

Formalização: Formaliza a atribuição de códigos ICD-10 a partir de múltiplos modelos preditivos como um problema de decisão multicritério baseado em alternativas ranqueadas.
Avaliação Empírica: Fornece uma avaliação abrangente de métodos clássicos de agregação de ranking (Plurality, Borda, RRF) através de diferentes granularidades de código em um cenário clínico não inglês (português brasileiro).
Implicações Práticas: Demonstra que estratégias de agregação simples e interpretáveis podem melhorar a consistência da decisão sem exigir o retreinamento de modelos ou o acesso aos componentes internos proprietários dos modelos.

Resultos
Os resultados empíricos indicam que os métodos de agregação baseados em ranking superam consistentemente o melhor modelo individual. As principais descobertas incluem:

$k$ Ótimo: O desempenho exibe um comportamento não monotônico em relação a $k$ . Embora o aumento de $k$ melhore inicialmente a revocação, ele acaba degradando a precisão. O equilíbrio ideal para todos os métodos foi encontrado em $k=3$ .
Superioridade da Contagem de Borda: O método Borda Count alcançou o maior desempenho em ambos os níveis de avaliação. Em $k=3$ , atingiu um Micro-F1 de 0,4807 no nível de 3 caracteres (um ganho relativo de 20,4% sobre o melhor modelo individual, GPT-4o-Mini) e 0,2112 no nível de código completo (um ganho de 19,0% sobre o DeepSeek-V3).
Comparação de Métodos: Métodos que incorporam a informação completa do ranking (Borda e RRF) superaram consistentemente os esquemas de votação simples (Plurality). No entanto, estratégias de agregação ponderadas não apresentaram melhorias estatisticamente significativas sobre os métodos não ponderados neste contexto específico.
Robustez: As melhorias observadas com a agregação foram consistentes através dos intervalos de confiança do bootstrap, indicando robustez estatística.

Significância e Alegações
Os autores alegam que este estudo demonstra que a agregação de rankings fornece uma abordagem fundamentada e eficaz para combinar múltiplos agentes de decisão imperfeitos em tarefas de codificação clínica. Os achados sugerem que:

Confiabilidade de Ensemble: Agregar saídas de múltiplos LLMs cria um sistema de suporte à decisão mais robusto do que depender de um único modelo, particularmente em cenários complexos de múltiplos rótulos.
Interpretabilidade: Estratégias de agregação simples, como a Contagem de Borda, podem aumentar significativamente a qualidade da decisão sem o custo computacional ou a complexidade de realizar o ajuste fino (fine-tuning) de modelos ou acessar seus parâmetros internos.
Adequação ao Human-in-the-Loop: Os rankings de consenso resultantes são bem adequados para fluxos de trabalho de "humano no circuito" (human-in-the-loop), onde uma lista curta e de alta qualidade de códigos candidatos (ex: top 3) pode ser revisada e validada eficientemente por codificadores especialistas, melhorando tanto a precisão quanto a eficiência na administração de saúde.

O estudo reconhece limitações, incluindo o uso de um único cenário clínico (obstetrícia) e o foco em prompting zero-shot, sugerindo que trabalhos futuros explorem agregação adaptativa, ponderação baseada em confiabilidade e domínios clínicos mais amplos.

Mais como este