Auditing Framing-Sensitive Behavioral Instability in Large Language Models for Mental Health Interactions

Resumo Técnico: Auditoria da Instabilidade Comportamental Sensível ao Enquadramento em Grandes Modelos de Linguagem para Interações de Saúde Mental

Declaração do Problema
Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais implantados em suporte de saúde mental e outras aplicações conversacionais psicologicamente sensíveis. Nesses contextos de alto risco, a estabilidade e a consistência comportamental são críticas para a confiança e segurança do usuário. No entanto, os usuários frequentemente expressam necessidades subjacentes semelhantes através de enquadramentos contextuais vastamente diferentes (por exemplo, enquadrar a incerteza como um problema de documentação versus uma responsabilidade institucional). Embora pesquisas anteriores tenham estabelecido que LLMs alinhados são sensíveis ao enquadramento de prompts — exibindo fenômenos como sicofancia e comportamentos de segurança dependentes de contexto — há uma lacuna significativa na compreensão de como esses efeitos de enquadramento se manifestam dentro da estrutura representacional interna dos modelos. Especificamente, permanece incerto se as variações comportamentais induzidas pelo enquadramento são meros artefatos de paráfrase de superfície ou se correspondem a diferenças sistemáticas nas representações de estados ocultos internos ligadas a tendências de resposta interpretativa.

Metodologia
Os autores propõem um framework de prompts pareados controlados para isolar os efeitos do enquadramento contextual da intenção semântica.

• Construção do Dataset: O estudo utiliza 603 grupos de prompts pareados, cada um reescrito em cinco condições distintas de enquadramento não adversariais: Documentação (relato formal), Epistêmico (interpretação/resolução de incerteza), Institucional (restrições organizacionais), Responsabilidade/Liability (risco/responsabilidade) e Baseado em Papel (orientação de suporte). A intenção semântica subjacente permanece constante em todas as variantes.
• Modelos Avaliados: O framework foi aplicado a múltiplas famílias de transformers ajustados por instrução de variadas arquiteturas e escalas, incluindo Qwen (0.5B, 1.5B), Gemma (2B, 9B), Mistral-7B e Phi (3.5, 4-mini).
• Anotação Comportamental: As respostas foram anotadas em quatro categorias, variando de "Fraco/Desengajado" a "Escalada de Interpretação", focando no grau de escalada interpretativa e calibração de suporte, em vez da correção factual.
• Análise de Representação Interna:
  • Sondagem por Camadas (Layer-wise Probing): Sondas de regressão logística foram treinadas nas ativações de estados ocultos de cada camada do transformer para prever categorias de resposta. Isso incluiu sondas de enquadramento mantidas fora (held-out) (treinadas em quatro tipos de enquadramento, testadas no quinto) para avaliar a generalização além de templates lexicais específicos.
  • Controles: O desempenho foi comparado contra controles de rótulos aleatórios e baselines lexicais TF-IDF para distinguir entre pistas lexicais de superfície e sinais representacionais profundos.
  • Direcionamento de Ativação (Activation Steering): Usando Adição de Ativação Contrastiva (CAA), os autores extraíram direções de direcionamento das diferenças entre estados "restritivos-suportivos" e de "alta interpretação". Essas direções foram subtraídas dos estados ocultos durante a inferência para testar se a modulação de representações internas poderia alterar causalmente os resultados comportamentais subsequentes.

Resultos Principais

• Modulação Comportamental: O enquadramento contextual altera sistematicamente as tendências de resposta interpretativa em todas as arquiteturas testadas. O enquadramento de Documentação produziu consistentemente as taxas mais altas de escalada interpretativa (atingindo 0.63 em Gemma-9B), enquanto o enquadramento Institucional tendeu a estabilizar ou suprimir a escalada. Essas mudanças ocorreram apesar de intenções semânticas subjacentes idênticas.
• Decodificabilidade Representacional: Informações associadas ao comportamento são decodificáveis a partir dos estados ocultos ao longo da profundidade do transformer.
  • Generalização de Hold-out: Sondas treinadas em condições de enquadramento específicas permaneceram consistentemente acima do acaso (acurácia balanceada ~0.72–0.83) quando testadas em categorias de enquadramento não vistas, sugerindo que os sinais associados ao comportamento generalizam parcialmente além de templates exatos de treinamento.
  • Lexical vs. Representacional: Embora os baselines lexicais TF-IDF tenham alcançado acurácia absoluta maior (0.89–0.94), indicando uma forte contribuição de pistas de enquadramento de superfície, o desempenho das sondas de hold-out acima do acaso sugere que o sinal não é inteiramente redutível ao emparelhamento lexical.
  • Distribuição de Profundidade: A decodificabilidade dos sinais de enquadramento é distribuída por múltiplas camadas do transformer, em vez de estar confinada a uma única camada de "emergência", embora a estabilidade e a magnitude desse sinal variem por arquitetura.
• Intervenção via Direcionamento (Steering): Experimentos de direcionamento de ativação demonstraram que direções representacionais associadas ao enquadramento podem modular parcialmente as tendências de resposta subsequentes. Forças moderadas de direcionamento reduziram as taxas de roteamento interpretativo em vários modelos (notadamente Mistral-7B e Qwen-1.5B) sem causar degradação catastrófica na qualidade da resposta. No entanto, os efeitos foram não lineares e dependentes da arquitetura, com alguns modelos mostrando efeitos de rebote em forças de direcionamento mais altas.

Significância e Alegações
O artigo argumenta que a robustez de enquadramento é uma dimensão crítica, embora frequentemente negligenciada, da avaliação de IA confiável, particularmente para interações de saúde mental. Os achados indicam que:

1. A consistência não é garantida: Preocupações semanticamente similares podem elicitar comportamentos interpretativos sistematicamente diferentes baseados apenas no enquadramento contextual, desafiando as expectativas do usuário sobre a confiabilidade do sistema.
2. Mecanismos Internos: Essas instabilidades comportamentais refletem-se na organização representacional interna dos modelos, não apenas em variações de superfície na saída.
3. Controlabilidade Parcial: Embora o direcionamento de ativação ofereça evidência preliminar de que essas tendências podem ser objeto de intervenção, a natureza não linear e específica de cada arquitetura sugere que a calibração comportamental é um fenômeno distribuído, em vez de um simples estado de política linear.

Os autores concluem que auditar a estabilidade comportamental contra a variação contextual é essencial para o implante de IA conversacional em domínios sensíveis. Eles posicionam este trabalho como um passo em direção ao desenvolvimento de sistemas mais transparentes e comportamentalmente calibrados, enfatizando que pesquisas futuras devem investigar como essas sensibilidades de enquadramento impactam a confiança e a dependência do usuário a longo prazo em cenários do mundo real.