Resumo Técnico: Avaliação por Especialistas e os Limites do Feedback Humano nos Testes de Segurança de IA em Saúde Mental

Declaração do Problema

O paradigma predominante para o desenvolvimento e avaliação de sistemas de IA, particularmente em domínios de alto risco como a saúde mental, baseia-se na Aprendizagem a partir de Feedback Humano (LHF). Esta abordagem assume que a agregação de julgamentos de especialistas produz um sinal válido de "verdade fundamental" para o treinamento de modelos de recompensa (por exemplo, RLHF, DPO) e classificadores de segurança. No entanto, essa suposição raramente é testada e, quando a confiabilidade é medida, frequentemente não é relatada.

Na saúde mental, os riscos são excepcionalmente altos: respostas inadequadas de IA podem levar a óbitos, reforço de delírios ou perpetuação de estigma. A avaliação depende tipicamente de um pequeno número de especialistas que classificam as saídas da IA. O problema central investigado é se esses especialistas conseguem realmente alcançar um consenso consistente. Se os especialistas possuem filosofias clínicas fundamentalmente diferentes, agregar suas classificações pode não reduzir o ruído, mas sim apagar estruturas profissionais fundamentadas, criando "compromissos aritméticos" que não refletem nenhuma realidade clínica coerente.

Metodologia

Os autores empregaram um desenho misto sequencial combinando análise quantitativa de confiabilidade com investigação qualitativa de estruturas clínicas.

Construção do Conjunto de Dados

• Conteúdo: Um conjunto de dados de 360 respostas geradas por IA a prompts sintéticos de saúde mental.
• Modelos: As respostas foram geradas por quatro grandes modelos de linguagem: GPT-5, Claude 4 Sonnet, Grok-4 e Llama 3.2.
• Desenho: Os prompts foram variadas sistematicamente usando uma matriz 3×3 cruzando gravidade clínica (baixa, moderada, alta) com diretividade da comunicação.
• Categorias de Risco: Dez categorias de alto risco foram definidas (por exemplo, apoiar ideação suicida, reforçar alucinações, punir comportamentos de TDAH), derivadas de diretrizes clínicas e trabalhos anteriores sobre respostas prejudiciais de IA.

Estrutura de Avaliação

• Rubrica: Uma rubrica calibrada cobrindo duas dimensões (Segurança e Qualidade) através de oito fatores:
  • Segurança: Gravidade do potencial dano, Probabilidade do potencial dano.
  • Qualidade: Corretude, Relevância, Escuta ativa, Empatia e validação, Limites e isenções éticas, Acionabilidade e incentivo.
• Escala: Escalas Likert de 5 pontos (1 = pior, 5 = melhor).

Participantes e Procedimento

• Avaliadores: Três psiquiatras certificados pelo conselho com subespecialidades diversas (adulto, criança/adolescente), orientações teóricas (cultural, biopsicossocial) e populações de pacientes.
• Processo:
  1. Calibração: Uma sessão de 90 minutos revisando escalas e pontos de ancoragem.
  2. Anotação: Classificação independente de todas as 360 respostas em todos os 8 fatores (totalizando 8.640 classificações).
  3. Entrevistas: Entrevistas semiestruturadas (45–60 min) para explorar processos de avaliação e estruturas subjacentes.
• Análise:
  • Quantitativa: Coeficientes de Correlação Intraclass (ICC) para confiabilidade e $\alpha$ de Krippendorff para dados ordinais. Desvio Absoluto Médio (MAD) para medir a magnitude da discordância.
  • Qualitativa: Análise temática reflexiva das transcrições das entrevistas para explicar padrões quantitativos.

Principais Resultados

1. Baixa Confiabilidade Interavaliador

Apesar de treinamento similar e instruções compartilhadas, a confiabilidade interavaliador foi consistentemente baixa, ficando abaixo do limiar de 0,40 tipicamente considerado minimamente aceitável para avaliação com consequências.

• Confiabilidade de Avaliador Único ($ICC_{(2,1)}$): Variou de 0,087 (Limites) a 0,295 (Escuta ativa).
• Confiabilidade Média ($ICC_{(2,k)}$): Mesmo ao média todas as três avaliadoras, a confiabilidade atingiu apenas níveis "razoáveis" (máx 0,556), com "Limites" permanecendo na faixa "baixa" (0,223).
• $\alpha$ de Krippendorff: Quatro fatores produziram valores negativos (por exemplo, Limites $\alpha = -0,203$), indicando discordância sistemática pior que o acaso. Isso sugere que, quando um avaliador pontuou alto, os outros pontuaram sistematicamente baixo.

2. O Paradoxo de Alto Risco

A discordância foi maior nos itens mais críticos para a segurança, contradizendo a suposição de que especialistas se alinham melhor em questões críticas.

• Suicídio e Automutilação: Produziram a maior discordância (MAD 0,598 e 0,566, respectivamente).
• TDAH: Mostrou a menor discordância (MAD 0,461), provavelmente porque as diretrizes são menos prescritivas.
• Gravidade: Casos de alta gravidade geraram mais discordância do que casos de baixa ou moderada gravidade.

3. Discordância Sistemática, Não Aleatória

A discordância foi direcional e refletiu estruturas clínicas coerentes, mas incompatíveis, em vez de erro de medição.

• Assimetria entre Avaliadores: Foi observada uma assimetria de 3,5:1 entre os avaliadores. O Avaliador A (média 4,186) foi consistentemente mais indulgente do que o Avaliador C (média 3,639).
• Divergência Orientada por Estrutura:
  • Especialista A (Segurança em Primeiro Lugar): Priorizou a evitação de danos; classificou respostas mais altas se evitassem dano ativo, mesmo que limitadas terapeuticamente.
  • Especialista B (Centrada no Engajamento): Focou na conexão terapêutica e busca de ajuda; penalizou respostas "seguras" mas frias.
  • Especialista C (Informada Culturalmente): Aplicou os padrões mais rigorosos, enfatizando o contexto cultural e as limitações explícitas da IA; classificou 92% das respostas como inadequadas em "Limites" porque faltavam isenções explícitas.
• Fator Limites: O fator de menor confiabilidade ($\alpha = -0,203$) exemplificou isso. O Especialista C exigia isenções explícitas de "Sou uma IA", enquanto o Especialista A aceitava limites implícitos através de encaminhamentos. Agregar essas visões produziu uma média que não refletia o padrão real de nenhum dos especialistas.

4. Padrões Específicos do Modelo

A discordância variou conforme o modelo de origem. O GPT-5 mostrou a maior discordância em "Limites" (MAD 0,921), enquanto o Grok-4 mostrou a maior discordância geral, particularmente em dimensões interpessoais. Isso indica que estimativas de confiabilidade de um modelo não necessariamente se generalizam para outros.

Principais Contribuições

1. Prova de Existência de Discordância Irredutível: O estudo demonstra que, mesmo entre psiquiatras certificados pelo conselho, a discordância de especialistas sobre segurança de IA é substancial, sistemática e persiste apesar da calibração. Isso desafia a suposição de que o feedback humano fornece uma verdade fundamental estável para RLHF e classificação de segurança.
2. Identificação de Viés Sistemático: O artigo mostra que a discordância não é ruído aleatório, mas reflete filosofias clínicas concorrentes (segurança em primeiro lugar vs. engajamento vs. contexto cultural). Essas diferenças são mais pronunciadas em cenários de alto risco (suicídio, automutilação).
3. Mecanismo Qualitativo: Através de entrevistas, os autores identificam que os especialistas dependem de heurísticas holísticas de risco em vez de discriminação granular de fatores. O "ruído" que os métodos atuais de alinhamento buscam média é, na verdade, um sinal contestado representando estruturas profissionais válidas e divergentes.

Significado e Implicações

O artigo argumenta que, em domínios críticos para a segurança com consequências longitudinais, o feedback humano pode não fornecer a verdade fundamental estável assumida pelos métodos atuais de alinhamento de IA.

• Para Modelagem de Recompensa: Treinar modelos de recompensa em classificações agregadas pode ensinar modelos a imitar "compromissos aritméticos" em vez de qualidade clínica genuína, potencialmente levando a comportamentos terapeuticamente incoerentes.
• Para Classificação de Segurança: Classificadores treinados em classificações de especialistas em domínios de alto risco (por exemplo, risco de suicídio) podem herdar julgamentos contestados como verdade fundamental, criando falsa confiança na segurança.
• Para Benchmarks de Avaliação: Benchmarks que tratam classificações humanas como verdade objetiva são fundamentalmente falhos se os especialistas não conseguem concordar sobre o que constitui uma resposta "boa".

Recomendações

Os autores propõem mudar da agregação baseada em consenso para métodos que preservem e aprendam com a discordância de especialistas:

• Relatar Confiabilidade: A confiabilidade interavaliador deve ser relatada em todos os estudos de avaliação.
• Anotação Declarada por Estrutura: Os especialistas devem declarar sua estrutura clínica antes da anotação, criando distribuições rotuladas indexadas por estrutura em vez de escores colapsados.
• Discordância como Sinal de Escalonamento: Alta discordância deve acionar revisão humana no loop ou comportamento conservador do sistema, em vez de ser absorvida em uma agregação.
• Pesagem Consciente do Contexto: Para casos de uso específicos, pode ser necessário ponderar anotadores cujas estruturas correspondem ao contexto de implantação, embora a seleção dinâmica de estruturas permaneça um desafio aberto.

O estudo conclui que a discordância de especialistas em IA crítica para a segurança é um fenômeno sociotécnico onde a experiência profissional introduz camadas sofisticadas de divergência principista que não podem ser resolvidas através de melhor medição ou maiores pools de anotadores.