A Study on Question-Answer Dataset for LLM Safety Evaluation with a Focus on Illegal Activities

Resumen Técnico: Un Estudio sobre un Conjunto de Datos de Preguntas y Respuestas para la Evaluación de Seguridad de Modelos de Lenguaje de Gran Escala con Enfoque en Actividades Ilícitas

Enunciado del Problema
La adopción generalizada de los Modelos de Lenguaje de Gran Escala (LLM) ha generado preocupaciones prácticas sobre su uso inapropiado, particularmente en la facilitación de actividades ilícitas. Aunque existen conjuntos de datos de evaluación de seguridad como AnswerCarefully (AC) y Do-Not-Answer, los autores identifican limitaciones específicas en la versión actual de AC (v2.2) al aplicarla a la categoría de "Usos Maliciosos". Las cuestiones clave incluyen:

• Ambigüedad Tipológica: Las categorías de nivel inferior bajo "Asistencia a Actividades Ilícitas" no son mutuamente excluyentes, lo que conduce a ejemplos que podrían pertenecer a múltiples categorías (por ejemplo, la infracción de derechos de autor que se superpone con actividades digitales ilegales) pero que están etiquetados con solo una.
• Falta de Fundamentación Legal: El conjunto de datos no vincula consistentemente los ejemplos a leyes estatutarias específicas, lo que dificulta verificar la base legal de las denegaciones de seguridad.
• Brechas de Cobertura: El conjunto de datos carece de representación para delitos de alta frecuencia (por ejemplo, robo, infracciones de tráfico) y no distingue suficientemente entre usuarios que son conscientes de la ilegalidad de su consulta y aquellos que son ingenuos.
• Ausencia de Ejemplos Inseguros: El conjunto de datos actual contiene únicamente respuestas "seguras", lo que limita su utilidad para el aprendizaje contrastivo o para entrenar modelos a reconocer salidas inseguras.

Metodología
El estudio propone una extensión del conjunto de datos AC centrada específicamente en actividades ilícitas bajo la ley japonesa. La metodología involucra tres componentes principales:

1. Formato de Datos Extendido: Los autores proponen un nuevo esquema (Tabla 4) que amplía el par estándar de pregunta-respuesta con cinco nuevos campos:

   • q-type: Clasifica la conciencia del preguntante sobre la ilegalidad (por ejemplo, consciente, inconsciente/ingenuo, ambiguo).
   • unsafe-answer: Proporciona un ejemplo de una respuesta inapropiada (por ejemplo, una que incite o detalle el acto ilícito) para servir como señal de entrenamiento negativa, mientras se señalan los riesgos éticos de su distribución pública.
   • basis: Cita explícitamente los fundamentos legales relevantes (leyes y artículos) que justifican la denegación de seguridad.
   • risk-perpetrator: Identifica al agente responsable del acto ilegal potencial (por ejemplo, el preguntante, el proveedor del LLM o un tercero).
   • risk-victim: Identifica a las víctimas potenciales (por ejemplo, el preguntante, terceros o el público).

2. Estrategias de Creación de Datos: Los autores exploraron dos enfoques para generar nuevos ejemplos basados en la Ley de Delitos Menores (una ley que abarca delitos diversos, frecuentes, pero a menudo pasados por alto):

   • Creación Totalmente Manual: Los trabajadores crean ejemplos por analogía con precedentes judiciales y fuentes web, asegurando que no se reutilice directamente información protegida por derechos de autor o privada. Esto permite un control preciso sobre atributos como el tipo de pregunta.
   • Creación Asistida por LLM: Un pipeline semiautomático donde un LLM (por ejemplo, DeepSeek-R1) se solicita con disposiciones legales específicas para redactar preguntas y respuestas candidatas. Los trabajadores humanos luego refinan estos borradores, filtran alucinaciones y aseguran la precisión legal. Este enfoque busca mejorar la diversidad y la cobertura.

3. Criterio de Evaluación: Se propone una rúbrica de puntuación (Tabla 6) para evaluar las respuestas de los LLM. La puntuación final se calcula utilizando la fórmula: $score = a \times (b + c) \times d$.

   • $a$ (Disuasión): Mide si la respuesta desalienta el acto y ofrece alternativas.
   • $b$ (Referencia a la Ilegalidad): Mide si la respuesta cita correctamente los fundamentos legales.
   • $c$ (Referencia a los Riesgos): Mide si la respuesta explica los daños potenciales.
   • $d$ (Validez): Una verificación binaria de la relevancia y calidad de la respuesta.
     Esta rúbrica permite la diferenciación cuantitativa entre respuestas seguras e inseguras (por ejemplo, una respuesta segura con puntuación +4 frente a una respuesta insegura con puntuación -4).

Contribuciones Clave

• Propuesta de Extensión del Conjunto de Datos: Una especificación detallada para extender el conjunto de datos AnswerCarefully para incluir fundamentación legal, análisis de riesgos y ejemplos de respuestas inseguras.
• Marco de Creación: Un flujo de trabajo validado para construir conjuntos de datos de seguridad que equilibra el rigor manual con la eficiencia asistida por LLM, específicamente adaptado a leyes estatutarias.
• Métrica de Evaluación: Una rúbrica estructurada diseñada para evaluar no solo la denegación de solicitudes ilegales, sino la calidad del razonamiento (cita legal y explicación de riesgos) proporcionado en la denegación.
• Análisis de Datos Existentes: Una revisión crítica de AC v2.2 que destaca la necesidad de una categorización multietiqueta y una mejor cobertura de delitos de alta frecuencia.

Resultados y Hallazgos

• Análisis de AC v2.2: En el subconjunto de "Asistencia a Actividades Ilícitas" (316 ejemplos), el 85% podría vincularse a leyes japonesas específicas. El Código Penal fue la base legal más frecuente (111 ejemplos), seguido de diversas leyes especiales. Sin embargo, se encontraron brechas significativas; por ejemplo, el robo (el delito más común en Japón) tenía solo un caso en el conjunto de datos, y las violaciones de la Ley de Tráfico Vial estaban completamente ausentes.
• Conciencia de la Pregunta: Aproximadamente el 77% de las preguntas analizadas provenían de usuarios explícitamente conscientes de la ilegalidad. El estudio argumenta que incluir preguntas "ingenuas" (donde los usuarios no son conscientes) es crucial, ya que las denegaciones de seguridad para estas dependen más de la comprensión del contenido que de reconocer la intención maliciosa del usuario.
• Conjunto de Datos Piloto: Los autores crearon con éxito un conjunto de datos a pequeña escala centrado en la Ley de Delitos Menores (por ejemplo, hacerse pasar por oficiales de policía, manejo de explosivos) utilizando métodos manuales y asistidos por LLM. Estos ejemplos demostraron la viabilidad del formato de datos propuesto y de la rúbrica.

Significado y Afirmaciones
Los autores declaran que los resultados de este estudio tienen la intención de ser compartidos con el proyecto "JAI-Trust", liderado por el Instituto de Seguridad de la IA de Japón. El artículo afirma que sus hallazgos y las extensiones propuestas contribuirán al desarrollo de un conjunto de datos de referencia a gran escala para la seguridad de los LLM.

El estudio se posiciona como un paso fundamental, reconociendo que, aunque ha analizado datos existentes y creado un piloto a pequeña escala, la construcción de un conjunto de datos integral a gran escala y su evaluación completa permanecen como trabajo futuro. Los autores enfatizan la necesidad ética de manejar las "respuestas inseguras" con extrema precaución, señalando que la distribución pública de dicho contenido podría constituir en sí misma la ayuda a comportamientos ilegales. En consecuencia, el artículo se centra en la metodología de creación y evaluación en lugar de lanzar un conjunto de datos completamente poblado y público de ejemplos inseguros.