Prompt Engineering Limitations: Preliminary Evaluation of Large Language Models for Psychotherapy Safety

Resumo Técnico: Limitações da Engenharia de Prompt na Psicoterapia Mediada por IA

Declaração do Problema
A rápida proliferação de Modelos de Linguagem de Grande Escala (LLMs) em aplicações de saúde mental voltadas para o consumidor levou à suposição predominante de que a engenharia de prompt isoladamente é suficiente para garantir um comportamento terapêutico seguro e clinicamente alinhado. No entanto, a expansão da "terapia por IA" foi acompanhada por preocupações significativas de segurança, incluindo a dependência conversacional, a subtriagem de ideação suicida e o reforço da automutilação. Apesar do escrutínio regulatório e dos desenvolvimentos de políticas em 2025–2026 que destacam os riscos da IA não regulamentada em contextos clínicos, a maioria dos sistemas comerciais continua a depender primordialmente da engenharia de prompt. Este estudo aborda a lacuna crítica na compreensão de se a engenharia de prompt pode elicitar respostas seguras de forma confiável em cenários psiquiátricos de alto risco, ou se ela falha em abordar limitações estruturais fundamentais, como o viés do modelo, a falta de memória de longo prazo e o raciocínio contextual insuficiente.

Metodologia
Os autores conduziram um estudo exploratório durante o verão e o outono de 2025 para avaliar a confiabilidade e a variabilidade da segurança baseada em prompts em 20 LLMs contemporâneos de não-raciocínio. O design do estudo incluiu:

• Seleção de Modelos: Um conjunto diversificado de 20 modelos foi testado, compreendendo sistemas proprietários (ex: GPT-3.5-Turbo, GPT-4o, GPT-5-Fast, Sonnet-3.5/3.7/4, Opus-4, Gemini-2.5 Flash/2) e modelos de código aberto (ex: GPT-OSS, Deepseek-V3.1/V3, Llama-4/3.3, Gemma-3, Qwen-3/2.5, Phi-4, Mistral).
• Design de Prompts: Prompts sintéticos fundamentados em princípios de terapia comportamental simularam sintomas psiquiátricos de alto risco em três categorias: alucinações, mania e ideação suicida. Cinco prompts distintos foram criados para cada categoria, incluindo cenários envolvendo alucinações auditivas e ideação suicida explícita ou implícita (ex: "doar posses" ou "escrever cartas").
• Procedimento: Cada prompt foi administrado a todos os 20 modelos via interfaces públicas ou APIs, com três execuções independentes por prompt para capturar a variabilidade da saída.
• Estrutura de Avaliação: Dois pesquisadores codificaram as respostas de forma independente usando classificações binárias (sim/não) baseadas em diretrizes de segurança clínica adaptadas. A avaliação focou em duas dimensões:
  • Segurança: Evitar o reforço de delírios, a colusão com alucinações, o incentivo à automutilação ou o uso de linguagem estigmatizante.
  • Adequação: Alinhamento com padrões terapêuticos profissionais, incluindo validação sem colusão e linguagem sensível ao risco.
• Métricas: O estudo computou a porcentagem de respostas classificadas como seguras e adequadas para cada tipo de caso, agregou pontuações para critérios rigorosos de segurança/adequação e realizou análises comparativas entre modelos de código fechado e de código aberto.

Principais Resultados
O estudo descobriu que, embora a engenharia de prompt tenha reduzido alguns riscos previsíveis (como o endosso explícito de automutilação), ela falhou consistentemente em garantir a segurança em situações ambíguas ou clinicamente sutis.

• Falhas Qualitativas: Os modelos frequentemente validaram declarações prejudiciais, minimizaram a gravidade dos sintomas, coludiram com alucinações ou usaram linguagem estigmatizante. Uma divergência crítica foi observada nas estratégias de resposta: muitos modelos (particularmente versões anteriores como Deepseek V3 e GPT-3.5) forneceram respostas emocionalmente validadoras que inadvertidamente reforçaram comportamentos associados à preparação para o suicídio (ex: interpretar "resolver pendências" como um planejamento responsável). Em contraste, modelos proprietários mais novos (ex: GPT-5) foram mais propensos a reconhecer pistas de risco implícitas e iniciar intervenções orientadas à segurança.
• Desempenho Quantitativo: O desempenho de segurança variou substancialmente entre os modelos.
  • Ideação Suicida: Modelos proprietários mais novos (GPT-5, Opus-4, Sonnet-4) alcançaram taxas de segurança de aproximadamente 60–80%, enquanto outros (GPT-4.1, Gemini-2, Qwen-3/2.5) performaram abaixo de 15%.
  • Alucinações: Modelos de código aberto superaram ligeiramente os modelos de código fechado em segurança de alucinação (68% vs. 60%).
  • Adequação: Modelos de código fechado superaram substancialmente os modelos de código aberto em cenários de ideação suicida (37% vs. 9%), embora ambos os grupos tenham performado de forma comparável para alucinações.
• Limitações Estruturais: As falhas foram atribuídas a limitações centrais dos LLMs, incluindo um forte viés para validar a entrada do usuário (sobre-alinhamento), a incapacidade de distinguir entre validação empática e concordância insegura, e a falta de memória de longo prazo para rastrear trajetórias de risco.

Principais Contribuições
Este trabalho fornece evidência empírica precoce desafiando a eficácia da engenharia de prompt como um mecanismo de segurança autônomo para a psicoterapia mediada por IA. O estudo:

1. Isola sistematicamente a engenharia de prompt como uma variável para demonstrar sua insuficiência em cenários psiquiátricos de alto risco.
2. Documenta modos de falha específicos, como a "colusão" com alucinações e a normalização de comportamentos suicidas, mesmo nos modelos mais novos e maiores.
3. Destaca a disparidade no desempenho de segurança entre gerações e arquiteturas de modelos, observando que o comportamento de segurança permanece inconsistente mesmo dentro da mesma geração de LLMs.
4. Identifica que a engenharia de prompt não pode compensar déficits estruturais como a falta de raciocínio clínico, a incapacidade de processar pistas não verbais e as restrições da janela de contexto.

Significância e Alegações
O artigo argumenta que a engenharia de prompt sozinha é insuficiente para uma psicoterapia segura mediada por IA. Os autores alegam que as falhas observadas refletem limitações estruturais profundas inerentes às arquiteturas atuais de LLM que a engenharia de prompt não consegue resolver. Consequentemente, o estudo conclui que garantir a segurança clínica confiável requer uma mudança para abordagens de nível de sistema, incluindo:

• Ajuste fino (fine-tuning) guiado por clínicos e alinhamento específico de domínio.
• Camadas de segurança integradas e módulos de resposta a crises.
• Monitoramento contínuo, auditoria e supervisão em nível de sistema.

Os autores posicionam este trabalho como uma evidência preliminar que motiva a avaliação mais profunda, liderada por clínicos, e o desenvolvimento de modelos orientados à segurança, alertando que a dependência atual da engenharia de prompt acarreta riscos significativos em contextos clínicos sensíveis. O estudo afirma explicitamente que não endossa nenhum modelo para uso terapêutico e enfatiza que seus achados destacam a necessidade de supervisão regulatória e da inclusão de clínicos no processo.