AICompanionBench: Benchmarking LLMs-as-Judges for AI Companion Safety

Resumen Técnico: AICompanionBench: Evaluación de LLMs-como-Jueces para la Seguridad de Compañeros de IA

Planteamiento del Problema
La rápida expansión del mercado de los compañeros de IA (por ejemplo, Replika, Character.AI) ha intensificado las preocupaciones respecto a las interacciones humanas-IA inseguras, particularmente en lo que respecta a los adolescentes. Si bien investigaciones previas han documentado los riesgos de seguridad y los impactos negativos de la compañía de la IA, existe una brecha crítica en la capacidad de detectar estos riesgos de forma automática. Específicamente, hay una falta de conjuntos de datos etiquetados de forma detallada y disponibles públicamente centrados en conversaciones entre humanos y compañeros de IA. Además, aunque los "LLMs-como-Jueces" han surgido como una alternativa flexible a la enseñanza supervisada tradicional para la evaluación de la seguridad, su fiabilidad y robustez en el contexto específico de la compañía de IA siguen sin explorarse profundamente. Los benchmarks existentes suelen centrarse en interacciones orientadas a tareas o en etiquetas de seguridad binarias, fallando al intentar capturar los riesgos matizados y multicategoría inherentes a los diálogos de compañía a largo plazo y con alto compromiso emocional.

Metodología
El estudio introduce AICompanionBench, un marco de evaluación que comprende tres componentes principales: compilación de conversaciones, anotación y evaluación.

1. Compilación de Datos: Los autores recolectaron 43,851 fragmentos de conversaciones del subreddit de Reddit r/replika (enero de 2021–enero de 2026). Estos fueron compartidos originalmente como capturas de pantalla publicadas por usuarios. El texto fue extraído mediante OCR (Pytesseract), y los interlocutores se distinguieron basándose en la posición de las burbujas de mensajes.
2. Estrategia de Anotación: Se empleó un enfoque híbrido humano-IA para gestionar la escala y complejidad del conjunto de datos:
   • Tamizaje basado en LLM: Seis LLMs (de las familias Llama y Qwen) filtraron los datos brutos para identificar conversaciones potencialmente inseguras. Un proceso de embudo seleccionó 2,295 conversaciones que exhibían alta incertidumbre o que fueron señaladas por múltiples modelos para revisión humana.
   • Colaboración Humano-IA: Un anotador humano capacitado revisó estas 2,295 conversaciones para eliminar el ruido y asignar etiquetas iniciales a través de nueve categorías. El conjunto de datos se expandió a 2,123 conversaciones tras la limpieza.
   • Refinamiento de la Verdad de Referencia (Ground Truth): Las 2,123 conversaciones fueron reevaluadas por 20 LLMs de última generación (de código abierto y fuente cerrada). El anotador humano utilizó estas predicciones de los modelos como referencia para finalizar las etiquetas de verdad de referencia. El coeficiente kappa de Cohen inicial entre las predicciones de la máquina y las etiquetas humanas fue de 0.59.
3. Evaluación del Benchmark: El conjunto de datos final se utilizó para evaluar 20 LLMs (incluyendo las familias GPT, Claude, Mistral, DeepSeek, Llama y Qwen) bajo un marco de LLM-como-juez. Los modelos recibieron la tarea de clasificar las conversaciones en nueve categorías: comportamiento sexual, comportamiento antisocial, agresión física, agresión verbal, abuso de sustancias, autolesión y suicidio, control, manipulación y ausencia de daño (no-harm).

Contribuciones Clave

1. Dataset AICompanionBench: El artículo presenta el primer conjunto de datos disponible públicamente y etiquetado de conversaciones reales entre humanos y compañeros de IA. Contiene 2,123 conversaciones anotadas con categorías de riesgo de seguridad detalladas, abordando la escasez de datos abiertos en este dominio.
2. Benchmarking Sistemático de LLM: El estudio proporciona una evaluación exhaustiva de 20 LLMs diversos (de código abierto y fuente cerrada) sobre la tarea específica de detectar interacciones inseguras en la compañía de IA. Esto va más allá de las demostraciones de un solo modelo para evaluar la fiabilidad y consistencia de los LLMs-como-Jueces en este contexto crítico de seguridad.

Resultados
La evaluación reveló una variación significativa en el rendimiento de los modelos y limitaciones específicas:

• Rendimiento General: La precisión de los modelos varió ampliamente de un 26% a un 86%. La familia GPT (específicamente GPT-4o con 86% y GPT-5.4 con 83%) y Claude-opus-4.6 (83%) emergieron como los mejores ejecutores. Los modelos más pequeños, como Llama-3-8B, tuvieron dificultades significativas (26%).
• Escalabilidad vs. Razonamiento: El rendimiento generalmente mejoró con la escala del modelo (por ejemplo, la serie Qwen3 mejoró del 53% al 76% a medida que aumentaban los parámetros). Sin embargo, habilitar capacidades de "pensamiento" o razonamiento no produjo mejoras de rendimiento consistentes sobre los modelos base.
• Dificultades Específicas por Categoría:
  • Explícito vs. Implícito: Los modelos funcionaron bien en categorías explícitas como comportamiento sexual (98% de precisión para los mejores modelos) y abuso de sustancias.
  • Riesgos Matizados: La "manipulación" fue la categoría más desafiante, con los 20 modelos logrando una precisión inferior al 80%. Las categorías que involucran intención implícita o ambigüedad contextual (autolesión, manipulación, agresión) resultaron difíciles.
• Sobreidentificación (Falsos Positivos): Un hallazgo crítico fue la tendencia de muchos modelos a la sobreidentificación de riesgos. La categoría de "ausencia de daño" (no-harm) fue difícil de clasificar correctamente, con 16 de los 20 modelos logrando una precisión inferior al 80%. Algunos modelos, como Mistral-medium-3, exhibieron una tasa de falsos positivos del 90%, señalando incorrectamente juegos de rol benignos o conversaciones contextualmente seguras como dañinas.

Significancia y Reivindicaciones
Los autores afirman que AICompanionBench llena un vacío vital al proporcionar el primer benchmark diseñado específicamente para los patrones de interacción y riesgos únicos de la compañía de IA. El estudio demuestra que, si bien los LLM actuales son efectivos para detectar contenido dañino explícito, siguen siendo limitados para identificar interacciones inseguras implícitas y distinguir conversaciones benignas de las dañinas. Los hallazgos sugieren que confiar únicamente en los LLM-como-Jueces actuales para el monitoreo de seguridad en la compañía de IA es insuficiente debido a problemas de matiz y sensibilidad excesiva. El trabajo tiene como objetivo avanzar en el desarrollo de métodos de detección de seguridad automatizados más fiables y ofrece una base para la investigación futura sobre la mitigación de riesgos en la creciente economía de los compañeros de IA.