COACH meets QUORUM: A Framework and Pipeline for Aligning User, Expert and Developer Perspectives in LLM-generated Health Counselling

O artigo apresenta o framework QUORUM e o pipeline COACH, que unificam as perspectivas de desenvolvedores, especialistas e usuários para gerar e avaliar aconselhamento de estilo de vida personalizado por LLMs para pacientes com câncer, demonstrando que, embora haja consenso sobre a qualidade e relevância do conteúdo, existem divergências significativas quanto ao tom, sensibilidade a erros e alucinações.

O essencial

Imagine que você tem um diário digital onde anota como está seu sono, seu humor e suas atividades diárias. Agora, imagine que esse diário é lido por um assistente de IA super inteligente que, em vez de apenas mostrar gráficos, conversa com você e dá conselhos personalizados sobre como melhorar sua vida, especialmente se você estiver lidando com os efeitos de uma doença como o câncer.

É exatamente isso que o artigo "COACH encontra QUORUM" descreve. Vamos descomplicar os conceitos principais usando analogias do dia a dia:

1. O Problema: O "Conselheiro" Cego

Muitas pessoas com câncer ou doenças crônicas precisam de conselhos de estilo de vida (como dormir melhor ou ter mais energia). O problema é que os conselhos na internet são genéricos ("coma mais verduras") ou fragmentados. Ninguém quer um conselho que sirva para "todo mundo", mas sim para você, baseado no que você realmente viveu ontem.

2. A Solução: O COACH (O Assistente)

Os autores criaram um sistema chamado COACH. Pense nele como um chef de cozinha pessoal.

• O Ingrediente: Você diz ao chef: "Estou cansado".
• A Pesquisa: O chef não chuta. Ele vai até uma biblioteca de receitas médicas confiáveis (o site kanker.nl, que é como um manual de instruções validado por especialistas) para ver o que a ciência diz sobre cansaço.
• O Prato: Ele mistura o que você disse com o que a biblioteca diz e cria um conselho único para você: "Vi no seu diário que você dormiu mal na terça-feira e fez pouco exercício. A biblioteca diz que isso pode causar cansaço. Que tal tentar..."

3. O Grande Desafio: Quem está no Controle? (O QUORUM)

Aqui entra a parte mais interessante. Quando você cria um robô que dá conselhos de saúde, quem deve julgar se ele é bom?

• O Usuário (Você): "O conselho me tocou? Eu vou seguir? O tom foi amigável?"
• O Especialista (O Médico): "A informação está cientificamente correta? O tom é profissional?"
• O Desenvolvedor (O Engenheiro): "O robô inventou fatos? Ele leu os dados certos?"

O problema é que essas três pessoas veem o mesmo prato com olhos diferentes. O usuário pode achar o prato delicioso, mas o chef pode achar que faltou sal, e o engenheiro pode ter usado o ingrediente errado.

Para resolver isso, eles criaram o QUORUM. Pense no QUORUM como um painel de degustação com três juízes.

• Eles não deixam apenas um juiz decidir. Eles reúnem o usuário, o médico e o engenheiro para avaliar o mesmo conselho ao mesmo tempo.
• O objetivo é ver onde eles concordam (o prato é bom para todos) e onde discordam (o médico acha muito doce, mas o usuário adora).

4. O Que Eles Descobriram?

Ao testar o COACH com pacientes reais, médicos e desenvolvedores, eles viram coisas fascinantes:

• Convergência (Todos concordam):

  • Usuários: Adoraram! Acharam que os conselhos faziam sentido para a vida deles e tinham um tom acolhedor.
  • Médicos: Confirmaram que a informação médica estava correta e segura.
  • Engenheiros: Viram que o robô leu os dados do diário com precisão (97% das vezes) e não inventou fatos médicos graves.

• Divergência (Onde eles brigaram):

  • O Tom de Voz: Os médicos acharam que o robô às vezes era um pouco "muito direto" ou "condescendente" (como um professor rígido). Os usuários, no entanto, acharam o tom ótimo e motivador.
  • A "Alucinação" (Inventar coisas): Os engenheiros viram que, em 22% dos casos, o robô usou exemplos que não estavam exatamente na biblioteca de receitas (como sugerir "amêndoas" quando a biblioteca só dizia "proteína"). Para os engenheiros, isso é um erro técnico. Para os médicos e usuários, isso parecia apenas um conselho inteligente e útil, não algo perigoso.

5. A Lição Final

O artigo nos ensina que não existe um único "juiz perfeito" para inteligência artificial na saúde.

• Se você ouvir apenas o engenheiro, o sistema será perfeito tecnicamente, mas pode ser chato ou inútil para o paciente.
• Se você ouvir apenas o usuário, o sistema pode ser divertido, mas perigoso se der informações erradas.
• Se você ouvir apenas o médico, o sistema será seguro, mas talvez muito frio e difícil de seguir.

O QUORUM é a ferramenta que une esses três mundos. Ele garante que o "chef de cozinha" (COACH) cozinhe pratos que sejam seguros (médico), saborosos e apetitosos (usuário), e feitos com ingredientes corretos (engenheiro).

Resumo em uma frase:
Para criar um robô de saúde que realmente ajude as pessoas, precisamos ouvir o paciente, o médico e o programador ao mesmo tempo, porque cada um vê uma parte diferente da verdade, e só juntos eles veem a imagem completa.

Resumo técnico

1. Problema

Pacientes e sobreviventes de câncer frequentemente sofrem com efeitos de longo prazo, como fadiga e problemas de saúde mental. Embora mudanças no estilo de vida (como aumento da atividade física) melhorem os resultados de saúde, o aconselhamento atual na área da saúde é frequentemente descrito como indisponível, fragmentado e muito genérico.

Existem sistemas de IA que geram aconselhamento, mas suas metodologias de avaliação são frequentemente fragmentadas e carecem de contextos realistas. A maioria das abordagens avalia apenas uma perspectiva (apenas do usuário, apenas de especialistas ou apenas métricas técnicas), falhando em capturar a complexidade necessária para sistemas de saúde confiáveis e centrados no paciente. Há uma necessidade crítica de unificar a extração de padrões de dados específicos do usuário com conhecimento médico validado, garantindo que o aconselhamento seja relevante, de alta qualidade e seguro.

2. Metodologia

O estudo propõe duas contribuições principais: o framework de avaliação QUORUM e o pipeline de geração de aconselhamento COACH.

A. Framework QUORUM (QUality, Outcome Reliability, and User-relevance from Multiple stakeholders)

O QUORUM é um framework de avaliação holístico e iterativo que integra três perspectivas complementares:

1. Perspectiva Centrada no Usuário: Foca na relevância. Avalia se o conselho se alinha à situação pessoal do usuário, se o tom e o comprimento são adequados e a probabilidade de o usuário seguir as dicas.
2. Perspectiva Centrada no Especialista (Médico): Foca na qualidade e segurança. Avalia a correção da contextualização dos dados com base no conhecimento médico (especialistas do kanker.nl), adequação do tom e clareza.
3. Perspectiva Centrada no Desenvolvedor (Técnica): Foca na confiabilidade. Avalia métricas objetivas como:
   • Fidelidade (Faithfulness): Consistência das afirmações sobre os dados do usuário.
   • Completude: Se todas as informações relevantes foram recuperadas.
   • Alucinação: Existência de afirmações de contextualização que não podem ser rastreadas até a base de conhecimento externa.

B. Pipeline COACH (Contextualised Outcome-Adaptive Counselling for Health)

O COACH é um pipeline baseado em Grandes Modelos de Linguagem (LLM) desenvolvido para o aplicativo Healthy Chronos (um diário digital para pacientes de câncer).

• Arquitetura: Utiliza RAG (Retrieval-Augmented Generation).
• Fluxo de Trabalho:
  1. O usuário faz uma consulta sobre seus dados (ex: "Como posso dormir melhor?").
  2. O sistema codifica a consulta e recupera os "chunks" (trechos) mais relevantes de uma base de conhecimento validada (kanker.nl).
  3. O LLM (GPT-4o) recebe a tabela de dados do usuário (formatada em Markdown), os trechos recuperados e instruções de prompt.
  4. O prompt é projetado para separar instruções de dados externos, usar exemplos in-context e garantir um tom empático, evitando conselhos médicos diretos.
  5. O sistema gera um aconselhamento personalizado que contextualiza os padrões extraídos dos dados do usuário com o conhecimento médico.

3. Contribuições Principais

1. Framework QUORUM: Uma nova metodologia unificada que permite avaliar sistemas de IA em saúde através das lentes convergentes e divergentes de usuários, especialistas e desenvolvedores, superando a fragmentação das avaliações atuais.
2. Pipeline COACH: Uma implementação prática de RAG para aconselhamento de estilo de vida personalizado, demonstrando a viabilidade de usar LLMs em contextos de saúde sensíveis.
3. Análise de Convergência e Divergência: O estudo demonstra como diferentes stakeholders podem concordar sobre a qualidade geral, mas divergir criticamente em aspectos como tom, sensibilidade a erros e alucinações.

4. Resultados

A avaliação foi realizada com 19 usuários, 6 especialistas e 2 desenvolvedores.

• Convergência (Aspectos Positivos):

  • Usuários: Avaliaram positivamente o alinhamento com sua situação (média ~3.9/5), a probabilidade de seguir as dicas e o tom/comprimento.
  • Especialistas: Consideraram o conteúdo correto (média ~4.0/5) e o tom geralmente adequado.
  • Desenvolvedores: O sistema mostrou alta confiabilidade técnica:
    • Fidelidade: 79% das afirmações sobre os dados do usuário eram consistentes.
    • Completude: 97% das afirmações tinham informações relevantes recuperadas.
    • Alucinação: 22% das afirmações de contextualização não eram estritamente rastreáveis à base de dados (embora não tenham sido consideradas prejudiciais).

• Divergência (Pontos de Atenção):

  • Tom e Clareza: Os especialistas foram mais críticos que os usuários quanto ao tom (alguns acharam condescendente ou direto demais) e à clareza (algumas frases eram ambíguas ou muito complexas linguisticamente).
  • Sensibilidade a Erros: Usuários e especialistas não perceberam erros técnicos (como alucinações ou dados inconsistentes) que os desenvolvedores identificaram. Isso sugere um viés de confiança ou falta de sensibilidade técnica dos não-especialistas.
  • Profundidade Médica: Os especialistas esperavam mais fatos biomédicos nas respostas, enquanto o sistema tendia a dar dicas gerais para evitar "conselhos médicos", criando uma lacuna entre a expectativa de profundidade e a restrição de segurança.

5. Significado e Conclusão

O estudo demonstra que sistemas baseados em LLMs, como o COACH, podem fornecer aconselhamento de estilo de vida relevante, de boa qualidade e confiável para populações de saúde.

A principal lição é que nenhuma perspectiva isolada é suficiente para garantir o impacto real de um sistema de IA na saúde.

• A perspectiva do desenvolvedor garante a base técnica e a segurança contra alucinações graves.
• A perspectiva do especialista garante a precisão clínica e a adequação do conteúdo.
• A perspectiva do usuário garante a adoção, a relevância prática e a satisfação.

O framework QUORUM serve como uma ferramenta essencial para identificar onde essas perspectivas convergem (indicando sucesso) e onde divergem (indicando áreas de melhoria para iterações futuras). O trabalho sugere que futuras versões do sistema devem focar em ajustar o tom para ser menos condescendente, melhorar a clareza linguística e equilibrar a restrição de "não dar conselhos médicos" com a necessidade de fornecer explicações biomédicas relevantes, sem comprometer a segurança.