VeriLLMed: Interactive Visual Debugging of Medical Large Language Models with Knowledge Graphs

Resumo Técnico: VeriLLMed

1. O Problema (Problem)

O uso de Grandes Modelos de Linguagem (LLMs) no diagnóstico médico apresenta um alto potencial, mas sua implementação clínica é dificultada pela falta de confiabilidade no raciocínio e pelo alto risco de decisões errôneas. O artigo identifica três desafios principais no processo de debugging (depuração) desses modelos:

• Falta de expertise médica dos desenvolvedores: Desenvolvedores de IA muitas vezes não conseguem interpretar erros de raciocínio em termos clínicos significativos.
• Dificuldade de priorização: Os modelos falham em uma vasta gama de instâncias, tornando impossível inspecionar cada erro individualmente para identificar quais são os mais críticos.
• Foco excessivo em instâncias isoladas: As práticas atuais de depuração são centradas em casos únicos, o que impede a identificação de padrões de erro recorrentes e estruturais que afetam o modelo de forma sistêmica.

2. Metodologia (Methodology)

Para resolver esses problemas, os autores propõem o VeriLLMed, um sistema de análise visual que integra Grafos de Conhecimento Biomédicos (Bio-KGs) para auditar o raciocínio diagnóstico. A metodologia baseia-se em quatro etapas principais:

• Construção de Caminhos de Raciocínio: O sistema transforma as saídas não estruturadas do LLM em caminhos de raciocínio estruturados (entidades médicas e relações direcionadas). Simultaneamente, utiliza o Bio-KG (especificamente o iBKH) para construir "caminhos de referência" que representam o raciocínio clinicamente correto.
• Alinhamento de Entidades: Utiliza uma estratégia de três estágios (correspondência exata, similaridade de embeddings médicos e refinamento via LLM) para garantir que as entidades mencionadas pelo modelo sejam mapeadas corretamente para o espaço de conceitos do grafo de conhecimento.
• Taxonomia de Erros Baseada em Estrutura: Em vez de analisar apenas o erro da resposta final, o sistema compara o caminho do modelo com o caminho de referência para detectar três tipos de erros estruturais:
  1. Erros de Relação (Relation errors): Quando o modelo estabelece uma conexão entre duas entidades que não é suportada pelo conhecimento médico.
  2. Erros de Ramificação (Branch errors): Quando o modelo segue um caminho que, embora válido no grafo, diverge para conceitos que não levam ao diagnóstico correto.
  3. Erros de Omissão (Missing errors): Quando o modelo ignora entidades ou sintomas cruciais presentes no raciocínio de referência.
• Interface de Visualização Analítica: O sistema oferece uma interface multi-nível que permite ao usuário navegar desde uma visão geral do conjunto de dados (distribuição de erros) até a inspeção detalhada de instâncias individuais, utilizando visualizações como projeções de embeddings, glifos de caminhos e diagramas de Sankey para resumir padrões recorrentes.

3. Principais Contribuições (Key Contributions)

• Taxonomia de Erros de Raciocínio: Uma nova classificação de erros de diagnóstico baseada na estrutura de grafos de conhecimento.
• Pipeline de Detecção Automatizada: Um método para extrair e categorizar erros de raciocínio de forma sistemática.
• Sistema VeriLLMed: Uma ferramenta de análise visual que permite a transição de uma análise baseada em texto para uma análise baseada em conceitos médicos estruturados.
• Workflow de Depuração de Ponta a Ponta: Um método que permite aos desenvolvedores identificar padrões, validar com casos reais e gerar hipóteses de melhoria (como ajustes de prompting).

4. Resultados (Results)

O sistema foi validado através de estudos de caso e avaliações de especialistas:

• Estudos de Caso: Demonstraram que o VeriLLMed permitiu identificar falhas específicas, como o viés de relacionar sintomas dermatológicos apenas a doenças de pele (ignorando causas sistêmicas) e a omissão de sintomas não específicos (como febre) que deveriam levar a diagnósticos inflamatórios.
• Intervenção Prática: Os especialistas utilizaram os insights gerados pelo sistema para criar novos prompts (técnicas de few-shot prompting). Essa intervenção baseada nos padrões de erro identificados pelo VeriLLMed resultou em um aumento mensurável na precisão do modelo nos casos anteriormente incorretos (ex: de 81,5% para 85,5% em certos conjuntos).
• Avaliação de Especialistas: Entrevistas com especialistas confirmaram que o sistema reduz o esforço manual, fornece suporte de conhecimento externo essencial e ajuda a transformar observações dispersas em estratégias de melhoria acionáveis.

5. Significância (Significance)

A importância deste trabalho reside na mudança de paradigma do debugging de LLMs: de uma análise de "caixa-preta" baseada em texto para uma auditoria estruturada e clinicamente fundamentada. Ao utilizar grafos de conhecimento como um "padrão de verdade" externo, o VeriLLMed permite que desenvolvedores (mesmo sem profundo conhecimento médico) compreendam o porquê de um modelo falhar, facilitando a criação de sistemas de IA médica mais seguros, confiáveis e transparentes para o uso clínico real.