AICompanionBench: Benchmarking LLMs-as-Judges for AI Companion Safety

Resumo Técnico: AICompanionBench: Avaliando LLMs-como-Juízes para a Segurança de Companheiros de IA

Declaração do Problema
A rápida expansão do mercado de companheiros de IA (ex: Replika, Character.AI) intensificou as preocupações relativas a interações humanas–IA inseguras, particularmente envolvendo adolescentes. Embora pesquisas anteriores tenham documentado riscos de segurança e os impactos negativos da companhia de IA, existe uma lacuna crítica na capacidade de detectar esses riscos automaticamente. Especificamente, há uma carência de conjuntos de dados rotulados, finamente detalhados e publicamente disponíveis, focados em conversas entre humanos e companheiros de IA. Além de "LLMs-como-Juízes" terem emergido como uma alternativa flexível ao aprendizado supervisionado tradicional para avaliação de segurança, sua confiabilidade e robustez no contexto específico da companhia de IA permanecem subexploradas. Os benchmarks existentes frequentemente focam em interações orientadas a tarefas ou rótulos de segurança binários, falhando em capturar os riscos matizados e multicategoria inerentes aos diálogos de companhia de longo prazo e emocionalmente engajados.

Metodologia
O estudo introduz o AICompanionBench, um framework de benchmark composto por três componentes principais: compilação de conversas, anotação e avaliação.

1. Compilação de Dados: Os autores coletaram 43.851 fragmentos de conversas do subreddit r/replika do Reddit (janeiro de 2021–janeiro de 2026). Estes foram originalmente compartilhados como capturas de tela postadas por usuários. O texto foi extraído via OCR (Pytesseract), e os interlocutores foram distinguidos com base no posicionamento dos balões de mensagem.
2. Estratégia de Anotação: Uma abordagem híbrida humano-IA foi empregada para lidar com a escala e complexidade do conjunto de dados:
   • Triagem baseada em LLM: Seis LLMs (das famílias Llama e Qwen) filtraram os dados brutos para identificar conversas potencialmente inseguras. Um processo de funil selecionou 2.295 conversas que exibiram alta incerteza ou foram sinalizadas por múltiplos modelos para revisão humana.
   • Colaboração Humano-IA: Um anotador humano treinado revisou essas 2.295 conversas para remover ruídos e atribuir rótulos iniciais em nove categorias. O conjunto de dados foi então expandido para 2.123 conversas após a limpeza.
   • Refinamento da Verdade Fundamental (Ground Truth): As 2.231 conversas foram reavaliadas por 20 LLMs de última geração (fontes abertas e fechadas). O anotador humano usou essas previsões de modelos como referência para finalizar os rótulos da verdade fundamental. O Cohen's kappa inicial entre as previsões das máquinas e os rótulos humanos foi de 0,59.
3. Avaliação do Benchmark: O conjunto de dados final foi usado para avaliar 20 LLMs (incluindo as famílias GPT, Claude, Mistral, DeepSeek, Llama e Qwen) sob um framework de LLM-como-juiz. Os modelos receberam a tarefa de classificar conversas em nove categorias: comportamento sexual, comportamento antissocial, agressão física, agressão verbal, abuso de substâncias, automutilação e suicídio, controle, manipulação e ausência de dano (no-harm).

Principais Contribuições

1. Dataset AICompanionBench: O artigo apresenta o primeiro conjunto de dados rotulado e publicamente disponível de conversas reais entre humanos e companheiros de IA. Ele contém 2.123 conversas anotadas com categorias de risco de segurança finamente detalhadas, abordando a escassez de dados abertos neste domínio.
2. Benchmarking Sistemático de LLM: O estudo fornece uma avaliação abrangente de 20 LLMs diversos (fontes abertas e fechadas) na tarefa específica de detectar interações inseguras na companhia de IA. Isso vai além de demonstrações de modelos únicos para avaliar a confiabilidade e a consistência de LLMs-como-Juízes neste contexto de segurança crítica.

Resultos
A avaliação revelou variações significativas no desempenho dos modelos e limitações específicas:

• Desempenho Geral: A precisão dos modelos variou amplamente de 26% a 86%. A família GPT (especificamente GPT-4o com 86% e GPT-5.4 com 83%) e o Claude-opus-4.6 (83%) emergiram como os melhores executores. Modelos menores, como o Llama-3-8B, tiveram dificuldades significativas (26%).
• Escala vs. Raciocínio: O desempenho geralmente melhorou com a escala do modelo (ex: a série Qwen3 melhorou de 53% para 76% conforme os parâmetros aumentaram). No entanto, habilitar capacidades de "pensamento" ou raciocínio não gerou ganhos de desempenho consistentes sobre os modelos base.
• Dificuldades Específicas de Categoria:
  • Explícito vs. Implícito: Os modelos tiveram bom desempenho em categorias explícitas como comportamento sexual (98% de precisão para os principais modelos) e abuso de substâncias.
  • Riscos Matizados: "Manipulação" foi a categoria mais desafiadora, com todos os 20 modelos atingindo precisão abaixo de 80%. Categorias envolvendo intenção implícita ou ambiguidade contextual (automutilação, manipulação, agressão) mostraram-se difíceis.
• Sobreidentificação (Falsos Positivos): Um achado crítico foi a tendência de muitos modelos de identificar riscos excessivamente. A categoria "ausência de dano" (no-harm) foi difícil de classificar corretamente, com 16 de 20 modelos atingindo precisão abaixo de 80%. Alguns modelos, como o Mistral-medium-3, exibiram uma taxa de falso positivo de 90%, sinalizando incorretamente role-play benigno ou conversas contextualmente seguras como prejudiciais.

Significância e Alegações
Os autores alegam que o AICompanionBench preenche uma lacuna vital ao fornecer o primeiro benchmark público especificamente adaptado aos padrões de interação e riscos únicos da companhia de IA. O estudo demonstra que, embora os LLMs atuais sejam eficazes na detecção de conteúdo explícito prejudicial, eles permanecem limitados na identificação de interações inseguras implícitas e na distinção entre conversas benignas e prejudiciais. Os achados sugerem que confiar apenas nos atuais LLMs-como-Juízes para monitoramento de segurança na companhia de IA é insuficiente devido a questões de nuance e hipersensibilidade. O trabalho visa avançar o desenvolvimento de métodos de detecção de segurança automatizados mais confiáveis e oferece uma base para pesquisas futuras sobre a mitigação de riscos na crescente economia dos companheiros de IA.