Resumo Técnico: Não Causar Dano? Alucinação e Abuso a Nível do Agente em Grandes Modelos de Linguagem Médicos Implantados na Web

1. Declaração do Problema

A rápida implantação de Grandes Modelos de Linguagem Médicos personalizados (MedGPTs) em plataformas comerciais como a OpenAI Store apresenta riscos significativos de segurança que são frequentemente negligenciados. Embora esses modelos ofereçam sugestões diagnósticas e conselhos de saúde, enfrentam duas ameaças primárias e interconectadas:

1. Alucinação Clínica: A geração de informações médicas fluentes, mas factualmente incorretas, incompletas ou fabricadas (por exemplo, tratamentos inseguros, conselhos medicamentosos incorretos). Diferentemente de erros em LLMs gerais, essas alucinações utilizam linguagem específica do domínio, tornando-as difíceis de detectar para pacientes não especialistas.
2. Abuso a Nível do Agente: Escolhas de design intencionais por parte dos desenvolvedores que predisponham os modelos a usos inseguros ou antiéticos. Isso inclui metadados enganosos (nomes, descrições), a circumvenção de salvaguardas de segurança por meio de ferramentas (por exemplo, navegação na web) e a falta de divulgações funcionais de privacidade, particularmente em modelos habilitados com "Ações" (chamadas de API externas).

A literatura atual foca amplamente na alucinação em modelos base ou no mau uso genérico em aplicativos de propósito geral, deixando uma lacuna na avaliação sistemática de GPTs de saúde implantados e voltados para o usuário quanto à precisão do conteúdo e aos riscos estruturais impulsionados por desenvolvedores.

2. Metodologia

Os autores conduziram uma auditoria em grande escala na OpenAI GPT Store, introduzindo um framework de avaliação de dupla camada.

Coleta de Dados

• Escopo: Um crawler extraiu metadados de 9.245 GPTs únicos usando a API de pesquisa pública da OpenAI e uma taxonomia específica do domínio com 171 palavras-chave médicas.
• Filtragem: Após curadoria manual para garantir relevância em saúde, foi estabelecido um conjunto de dados final de 6.233 MedGPTs.
• Amostragem: Devido a limites de taxa da plataforma, uma amostra estratificada de 1.500 MedGPTs foi selecionada para avaliação profunda: os Top 1.000 (por contagem de conversas), um Meio Aleatório de 250 e um Bottom 250.
• Grupo de Comparação: 10 LLMs médicos de código aberto proeminentes (por exemplo, Galactica, PMC-LLaMA, MedAlpaca) foram avaliados usando as mesmas métricas para comparação.

Frameworks de Avaliação

1. MedGPT-HEval (Detecção de Alucinação):

   • Entrada: Cada modelo foi consultado cinco vezes com cenários clínicos padronizados do benchmark MedQA.
   • Métricas: As respostas foram pontuadas usando quatro métricas complementares:
     • G-Eval: Um framework de cadeia de pensamento usando Gemini 3.1 Pro para avaliar precisão factual, consistência e confiabilidade de citações.
     • BARTScore: Mede a probabilidade do texto gerado dado o prompt de entrada para avaliar a fidelidade.
     • Entropia Semântica: Quantifica a incerteza do modelo; valores mais altos indicam maior instabilidade e risco de alucinação.
     • Semelhança Cosseno: Mede o alinhamento semântico entre a resposta e a entrada clínica usando embeddings BioBERT.
   • Validação: Pontuações automatizadas foram validadas contra anotação humana em um subconjunto estratificado (300 modelos), alcançando concordância de 90,5–94,0% (kappa de Cohen = 0,8163).

2. Avaliação de Abuso a Nível do Agente:

   • Método: Um pipeline de LLM-como-juiz (usando Gemini 3.1 Pro) analisou metadados (nomes, descrições, iniciadores de conversa) contra as políticas de uso da OpenAI.
   • Categorias: Riscos foram classificados em consultas de saúde, golpes, violações de privacidade e atividades ilícitas.
   • Limiar: Agrupamento K-means ($k=2$) foi aplicado às pontuações de risco de mau uso para determinar um limiar de conformidade de 0,45. Isso foi validado por revisão de especialistas (kappa de Cohen = 0,8188).
   • Auditoria de Privacidade: Especificamente para os 170 modelos com "Ações" habilitadas, os autores avaliaram a acessibilidade e conformidade das políticas de privacidade vinculadas.

3. Principais Resultados

Alucinação Clínica

• Prevalência: 25–30% dos MedGPTs em todos os níveis de popularidade pontuaram abaixo de 0,8 no G-Eval.
• Disparidades de Nível: Modelos de nível inferior e médio exibiram os maiores riscos de alucinação e o alinhamento contextual mais fraco. Modelos de nível superior performaram melhor, mas ainda apresentaram variância significativa.
• Especificidades das Métricas:
  • Apenas 37,27% dos MedGPTs alcançaram um BARTScore $\ge -3,5$.
  • Apenas 41,07% alcançaram uma Semelhança Cosseno $\ge 0,4$.
  • 59,87% tiveram entropia semântica $< 2$, indicando estabilidade moderada, embora modelos de nível inferior mostraram alta variabilidade.
• Percepção do Usuário: Houve uma correlação quase nula entre o engajamento do usuário (contagens de conversas, classificações de estrelas) e métricas de alucinação (por exemplo, $r \approx -0,03$ para G-Eval). Usuários recompensam atividade, não precisão; modelos menos confiáveis frequentemente receberam feedback mais positivo.

Abuso a Nível do Agente e Privacidade

• Taxas de Mau Uso: 49,8% de todos os MedGPTs avaliados violaram políticas operacionais.
  • Top 1.000: 54,3% não conformes.
  • Meio 250: 48,0% não conformes.
  • Bottom 250: 33,6% não conformes.
• Lacunas de Privacidade: Entre 170 modelos habilitados com Ações:
  • 57,06% careciam de políticas de privacidade acessíveis.
  • Dos 42,94% com políticas acessíveis, quase 70% pontuaram abaixo do limiar de conformidade (falta de divulgações sobre compartilhamento de dados, cookies, direitos do usuário).
  • Muitas políticas eram links quebrados, modelos genéricos ou redirecionavam para domínios não relacionados.

Modelos de Código Aberto vs. Implantados na Web

• Precisão vs. Estabilidade: MedGPTs demonstraram maior precisão factual (G-Eval Médio: 0,9238) e alinhamento semântico (Cosseno Médio: 0,4054) em comparação com modelos de código aberto (G-Eval Médio: 0,4558; Cosseno Médio: 0,3731).
• Consistência: Modelos de código aberto foram mais estáveis e previsíveis (menor entropia semântica: 1,6129 vs. 1,9272 para MedGPTs), sugerindo uma compensação onde modelos implantados na web podem priorizar coerência sobre a estabilidade encontrada em alternativas impulsionadas pela comunidade.

4. Principais Contribuições

1. Conjunto de Dados HAA-MedGPT: O lançamento do primeiro conjunto de dados estruturado em grande escala contendo metadados, logs de interação e pontuações de avaliação para 6.233 MedGPTs personalizados implantados na web.
2. Análise de Segurança de Dupla Camada: A introdução do MedGPT-HEval para detecção de alucinação combinada com um avaliador de mau uso a nível do agente, abordando tanto erros de nível de saída quanto riscos de nível de design.
3. Descobertas de Governança Sistêmica: Evidência empírica de que indicadores de confiança da plataforma (classificações, revisões) não correlacionam com segurança ou precisão, e que quase metade dos modelos implantados viola políticas operacionais.
4. Quantificação de Risco de Privacidade: A primeira avaliação empírica mostrando que a maioria dos GPTs médicos habilitados com Ações carece de divulgações funcionais de privacidade.

5. Significado e Alegações

O artigo argumenta que a implantação atual de LLMs médicos em mercados abertos sofre de falhas sistêmicas de governança. Os autores afirmam que:

• Popularidade não é um proxy para segurança: Altas contagens de conversas e revisões positivas não indicam confiabilidade factual ou adesão a políticas de segurança.
• O risco é estrutural: Comportamentos inseguros são frequentemente embutidos no nível de design por desenvolvedores (por exemplo, nomes enganosos, políticas de privacidade ausentes) em vez de serem erros de geração incidentais.
• Avaliação multi-métrica é essencial: Confiar em uma única métrica (como precisão) é insuficiente; uma combinação de alinhamento factual, estabilidade semântica e conformidade com políticas é necessária para avaliar a segurança de LLMs médicos.
• Necessidade urgente de salvaguardas: As descobertas destacam a necessidade de avaliações de segurança proativas, padrões de políticas aplicáveis e frameworks de avaliação multi-métrica antes que os modelos sejam implantados ao público.

Os autores concluem que, sem essas intervenções, a "lacuna de confiança" entre a confiabilidade percebida e a segurança real continuará a expor pacientes a riscos clínicos e de privacidade.