InsightFlow: LLM-Driven Synthesis of Patient Narratives for Mental Health into Causal Models

1. Problema e Contexto

A formulação de casos clínicos em saúde mental é um processo fundamental que envolve estruturar sintomas, histórico e fatores psicossociais do paciente em um modelo causal. Os clínicos frequentemente utilizam o framework "5P" (Problemas Presentes, Fatores Predisponentes, Fatores Precipitantes, Fatores Perpetuantes e Fatores Protetores) para criar grafos causais visuais que explicam as interconexões dos problemas do paciente.

No entanto, a criação manual desses grafos a partir de transcrições de terapia apresenta desafios significativos:

• Custo Temporal: O processo é extremamente demorado.
• Subjetividade: Há baixa concordância entre especialistas (o coeficiente Kappa de Cohen varia frequentemente entre 0,33 e 0,45), levando a formulações inconsistentes para o mesmo caso.
• Falta de Padronização: A ausência de um padrão ouro automatizado dificulta a análise em larga escala de dados clínicos.

O objetivo do estudo é automatizar essa extração e estruturação utilizando Modelos de Linguagem de Grande Escala (LLMs), criando uma ferramenta capaz de gerar grafos causais alinhados ao framework 5P a partir de diálogos terapêuticos.

2. Metodologia: O Sistema InsightFlow

Os autores desenvolveram o InsightFlow, um sistema end-to-end baseado no modelo Llama-3 8B. A metodologia seguiu três etapas principais:

A. Preparação do Conjunto de Dados (Ground Truth)

• Dados: Foram utilizados 46 transcrições de sessões de intake (admissão) clínica do corpus MentalCLOUDS.
• Anotação Humana: Dois clínicos treinados anotaram manualmente os grafos causais seguindo um protocolo estruturado baseado no framework 5P. O processo envolveu:
  1. Identificar problemas presentes.
  2. Encontrar fatores precipitantes (gatilhos recentes).
  3. Traçar fatores predisponentes (vulnerabilidades de longo prazo).
  4. Adicionar fatores perpetuantes (comportamentos que mantêm o problema).
  5. Conectar os nós com arestas direcionadas (causa-efeito) e iterar/refinar para remover redundâncias.

B. Geração Automática de Grafos (InsightFlow)

O sistema opera em duas etapas principais de prompting iterativo:

1. Extração de Fatores (Nós): O LLM é instruído a atuar como um psicólogo clínico e extrair, em formato JSON, os fatores das quatro categorias principais (Predisponentes, Precipitantes, Perpetuantes e Presentes) do diálogo.
2. Verificação de Causalidade (Arestas): O sistema realiza uma verificação par a par entre os nós extraídos. Para cada par de nós, o LLM recebe o contexto do diálogo e deve decidir se existe uma relação causal direta (resposta "TRUE" ou "FALSE"). Isso evita conexões espúrias e constrói uma rede coerente.

C. Avaliação

A avaliação foi mista, combinando métricas computacionais e revisão por especialistas:

• Métricas Automáticas:
  • Similaridade Estrutural: Medida pelo algoritmo NetSimile (comparando distribuição de graus, agrupamento, etc.).
  • Similaridade Semântica: Uso de SBERT para calcular a similaridade de cosseno entre os embeddings das arestas e nós.
  • Métricas de Teoria dos Grafos: Densidade, coeficiente de agrupamento (clustering), centralidade (grau, intermediação, proximidade) e detecção de comunidades (Leiden, Girvan-Newman, Infomap).
• Avaliação de Especialistas: Cinco clínicos avaliaram os grafos gerados pelo LLM (de forma cega) em uma escala de 1 a 5 em seis dimensões: Completude, Consistência, Especificidade, Plausibilidade dos Nós, Plausibilidade das Arestas e Utilidade clínica.

3. Principais Contribuições

1. Benchmarks Clínicos: Criação de um conjunto de dados anotado manualmente com 46 sessões de terapia utilizando o framework 5P como referência.
2. Método de Prompting Iterativo: Desenvolvimento de uma abordagem de feedback em duas etapas (extração seguida de verificação de causalidade) para aumentar a precisão na construção de grafos.
3. Análise Comparativa Rigorosa: Comparação direta entre a saída do LLM e a anotação humana, utilizando tanto métricas de similaridade de grafos quanto avaliação clínica humana.
4. Análise Topológica: Investigação das diferenças estruturais entre grafos humanos e de IA, revelando padrões distintos na forma como as conexões são estabelecidas.

4. Resultados Chave

Similaridade e Concordância

• Similaridade Estrutural: Os grafos gerados pelo LLM apresentaram uma similaridade NetSimile entre 0,38 e 0,46 em relação aos grafos humanos. Curiosamente, a similaridade entre os dois anotadores humanos foi de 0,45, indicando que o LLM está dentro da variabilidade natural esperada entre especialistas humanos.
• Similaridade Semântica: A sobreposição semântica foi alta, com similaridade de cosseno média > 0,70 para arestas e nós, sugerindo que o modelo identificou os mesmos conceitos centrais que os clínicos.
• Avaliação Humana: Os especialistas atribuíram pontuações moderadas (média de 3,2 a 3,6 em uma escala de 5) para os grafos do LLM, comparáveis à pontuação dada a grafos humanos. A utilidade clínica foi considerada aceitável como ponto de partida para decisão.

Diferenças Topológicas e Estruturais

• Densidade e Agrupamento: Os grafos do LLM foram consistentemente mais densos (0,29 vs ~0,25 em humanos) e apresentaram maior coeficiente de agrupamento (triângulos). Enquanto os humanos tendem a criar cadeias causais lineares e parcimoniosas (A→B→C), o LLM frequentemente adiciona conexões diretas (A→C), criando redes mais ricas e "emaranhadas".
• Centralidade: O LLM distribuiu a influência causal de forma mais uniforme (maior centralidade de intermediação e proximidade), enquanto os humanos concentraram o fluxo em poucos nós focais (estrutura de hub-e-spoke).
• Comunidades: A detecção de comunidades mostrou que os nós do LLM agrupavam-se logicamente por categoria 5P, refletindo coerência clínica.

Limitações Identificadas

• Falta de Ordenação Temporal: Os grafos gerados não possuem uma linha do tempo explícita, o que é crucial para a causalidade em saúde mental.
• Redundância: O modelo às vezes criava nós redundantes ou muito amplos, inflando o grafo sem adicionar nova informação.
• Viés de Densidade: A tendência de criar mais conexões pode, em alguns casos, sugerir causalidades que os clínicos considerariam apenas correlacionais.

5. Significado e Conclusão

O estudo InsightFlow demonstra que é viável utilizar LLMs para automatizar a formulação de casos clínicos complexos a partir de narrativas de terapia. Os resultados indicam que:

• A saída do LLM é comparável à variabilidade humana, não sendo inferior à concordância entre dois especialistas.
• A ferramenta tem potencial para aumentar a eficiência dos terapeutas, fornecendo um rascunho inicial estruturado que pode ser refinado, economizando tempo e destacando relações que poderiam passar despercebidas.
• A abordagem sugere um futuro onde a IA atua como uma ferramenta de suporte à decisão, permitindo a análise de grandes conjuntos de dados anonimizados para pesquisa e saúde pública.

O trabalho conclui que, embora diferenças estilísticas existam (redes densas da IA vs. cadeias lineares humanas), a qualidade clínica é suficiente para uso como ferramenta de apoio, desde que haja supervisão humana para refinar o raciocínio temporal e remover redundâncias.