Resumo Técnico: aipsy-judge

Declaração do Problema

O artigo identifica uma falha crítica no paradigma padrão de "LLM-como-juiz" (LLM-as-judge) quando aplicado à segurança psicológica em IA conversacional. Embora modelos de fronteira sejam frequentemente usados para avaliar a segurança, os autores demonstram que, para métricas de segurança clínica, esses juízes não são meramente ruidosos, mas estruturalmente não confiáveis.

Principais problemas identificados incluem:

• Desacordo Estruturado: O desacordo entre juízes de fronteira não é um ruído aleatório; ele se concentra em métricas críticas de segurança (especificamente empatia e gestão de crises).
• Viés de Preferência Própria: Modelos de fronteira exibem um significativo "prêmio de preferência própria" (ex: o Gemini do Google pontuando suas próprias gerações +0,99 pontos acima de outras), o que é perigoso ao avaliar a segurança.
• Cegueira de Falhas: Um juiz (Gemini) falha sistematicamente em detectar falhas de segurança na cauda (ex: classificar uma resposta de autolesão com "meios em mãos" como "exemplar"), enquanto outros as detectam.
• O Perigo da Média: O remédio padrão de média de pesos iguais é inseguro aqui. Ele mistura a leniência e a cegueira de cauda dos outliers diretamente na pontuação de segurança, efetivamente "lavando" a falha.
• Privacidade e Independência: Depender de APIs de modelos de fronteira hospedadas por fornecedores introduz pontos cegos do fornecedor e exige que transcrições sensíveis de usuários saiam do ambiente local, violando a privacidade em ambientes regulados (PHI).

Metodologia

1. O Substrato de Avaliação

O estudo utiliza o aipsy-bench, um benchmark congelado e clinicamente fundamentado contendo 3.000 mensagens de IA em 20 cenários de múltiplos turnos (saúde mental, companhia, coaching).

• Métricas: Seis métricas comportamentais ancoradas de 0 a 5 (empatia, tom, gestão de crise, segurança de conselhos, segurança de limites, complexidade afetiva) e uma flag binária de detecção de crise.
• A Âncora: Um único psicólogo clínico pontuou 173 itens principais usando o mesmo rubrica. Os autores declaram explicitamente que isso é uma referência de especialista com vieses documentados, não uma verdade fundamental validada. Serve como uma âncora direcional para determinar quais juízes estão mais próximos da realidade clínica.

2. O Mapa de Competência (Análise de Fronteira)

Três modelos de fronteira (gpt-5.4-mini da OpenAI, claude-sonnet-4-6 da Anthropic, gemini-2.5-flash do Google) serviram tanto como geradores quanto como juízes em um design cruzado 3×3.

• Descobertas:
  • Empatia: Menor concordância inter-juiz ($\alpha = 0,24$), indicando que os juízes não conseguem distinguir a sintonia genuína da calidez sicofante.
  • Detecção de Crise: A única métrica com alta concordância ($\alpha \approx 0,80$), embora os juízes variem em sensibilidade.
  • Outlier Gemini: Mostrou leniência extrema (+1,89 de viés em gestão de crise vs. o psicólogo) e cegueira de falhas (detectando apenas ~10% das falhas que outros detectaram).
  • Juízes de Pesos Abertos: Modelos abertos comuns geralmente falham devido à disposição (ajuste de utilidade/RLHF causando agrupamento no teto) em vez de capacidade. A maioria emite JSON limpo, mas pontua tudo entre 4 e 5, perdendo as falhas completamente.

3. A Solução: Destilação Corrigida pelo Psicólogo

Os autores propõem o aipsy-judge-1.0, um modelo pequeno, congelado e totalmente local, destilado de um alvo corrigido.

Etapas Metodológicas Principais:

1. Seleção de Referência por Métrica: Em vez de tirar a média, o alvo é construído ponderando os juízes por métrica com base no seu alinhamento com o psicólogo.
   • Exemplo: O Claude é fortemente ponderado para empatia (o único juiz conservador contra a leniência do psicólogo); o Gemini é penalizado em todos os lugares na cauda de segurança.
2. Sobreamostragem Estratificada de Falhas (A Correção Chave):
   • Os alvos de falhas são raros (~17%). A sobreamostragem de todas as falhas embaralhou a ordem de classificação porque 69% das falhas eram nos eixos de conselhos/limites, fazendo com que o modelo sinalizasse esses pontos indiscriminadamente.
   • Correção: Sobreamostrar apenas a cauda de falhas raras de não-conselho/limite, deixando as falhas de conselho/limite em uma proporção de 1:1. Isso restaura a distribuição natural por eixo e a ordem de classificação.
3. Destilação: O alvo corrigido é destilado para o Gemma-4-26B-A4B (um modelo Mixture-of-Experts) via ajuste fino supervisionado LoRA.
   • Restrições de Engenharia: Requer quantização Q8_0 para evitar truncamento de saída e usa kernels de entropia cruzada fundidos (Liger) para lidar com o vocabulário de 256k sem erros de OOM (falta de memória).

Principais Resultados

O aipsy-judge-1.0 (o modelo local destilado) é avaliado contra o alvo corrigido pelo psicólogo:

• Concordância Composta: O ICC melhorou de 0,64 (modelo base) para 0,75.
• Detecção de Crise: O $\kappa$ de Cohen melhorou de 0,65 para 0,82.
• Recall de Falhas: Dobrou de 0,22 para 0,49.
• Desempenho de Segurança:
  • Alcança 92% de recall na detecção de crises com uma tendência de falsos positivos (a direção segura para triagem).
  • Corretamente sinaliza o caso de autolesão com "meios em mãos" (s07) que o Gemini classificou como "exemplar", raciocinando que a resposta foi suave demais.
• Regressões Honestas: O modelo mostra leves regressões em segurança de conselhos (ICC 0,33) e segurança de limites (ICC 0,735) em comparação ao base, o que os autores atribuem ao conservadorismo intencional do alvo nesses eixos e ao ruído inerente da métrica de conselhos.

Significância e Alegações

O artigo faz três contribuições primárias, estruturadas com modéstia epistêmica específica:

1. O Mapa de Competência: Fornece evidência empírica de que nenhum modelo de fronteira único é confiável para graduar a segurança psicológica, e que a média de pesos iguais é ativamente insegura porque incorpora a cegueira de outliers.
2. O Método: Introduz um método reproduzível de destilação corrigida pelo psicólogo. Ao usar ponderação por métrica e sobreamostragem estratificada de falhas, transfere um sinal corrigido para um modelo local pequeno.
3. O Juiz Local Independente: Entrega o aipsy-judge-1.0, um juiz totalmente local que:
   • Possui a Correção: Gradua de forma mais fiel do que qualquer juiz de fronteira individual pela construção de seu alvo.
   • Garante Independência: É estruturalmente independente do pós-treinamento de fornecedores, evitando a preferência própria e os pontos cegos de modelos comerciais.
   • Garante Localidade: Executa inteiramente no dispositivo (ex: um Mac de 48GB ou um Linux com 16GB de VRAM), garantindo que transcrições sensíveis de usuários nunca saiam do ambiente.

Limitações e Escopo:
Os autores declaram explicitamente que a "verdade fundamental" é um único especialista, não um consenso de múltiplos avaliadores. Portanto, as alegações de "vencer juízes de fronteira" são direcionais e verdadeiras pela construção do alvo. O modelo é uma tela com tendência a falsos positivos destinada à triagem com humano no circuito (human-in-the-loop), não um portão de segurança puramente de máquina. A cauda de sicofancia da empatia permanece como um limite estrutural, pois todos os professores (incluindo os professores do psicólogo) compartilham a dificuldade de distinguir calor humano de bajulação.

Conclusão:
O artigo argumenta que a avaliação de segurança para IA conversacional requer um juiz que seja independente por estrutura e local por design. A solução proposta não é um modelo maior ou um painel diversificado, mas um modelo destilado especializado que corrige os vieses específicos dos juízes de fronteira enquanto mantém os dados privados.