Seclens: Role-specific Evaluation of LLM's for security vulnerablity detection

Resumen Técnico: SecLens

1. El Problema

Los benchmarks existentes para la detección de vulnerabilidades mediante Modelos de Lenguaje Grande (LLM) reducen la capacidad de un modelo a un único número agregado (puntuación global). Este enfoque tiene limitaciones críticas porque no puede satisfacer las necesidades divergentes de los distintos interesados (stakeholders) dentro de una organización:

• CISO (Director de Seguridad): Prioriza la recuperación (recall) de vulnerabilidades críticas y minimiza los falsos negativos, incluso a costa de más falsos positivos.
• Líder de Ingeniería: Optimiza para bajas tasas de falsos positivos (precisión), velocidad y costos, ya que los falsos positivos erosionan la confianza de los desarrolladores.
• Oficial de IA (CAIO): Equilibra riesgo, costo y capacidad de despliegue autónomo.
• Investigador de Seguridad: Necesita profundidad en el razonamiento, taxonomía CWE precisa y cadenas de evidencia.
• IA como Agente: Evalúa la fiabilidad del parseo, el cumplimiento de formatos y la degradación elegante.

Un modelo que ocupa el primer lugar en un ranking general podría ser la peor opción para un CISO si ignora vulnerabilidades críticas, o la peor para un ingeniero si genera demasiadas alertas falsas.

2. Metodología: El Framework SecLens-R

Los autores proponen SecLens-R, un marco de evaluación multi-actor que transforma los resultados de detección en puntuaciones específicas por rol.

• Dimensiones Compartidas: Se definen 35 dimensiones de evaluación agrupadas en 7 categorías:

  1. Detección (D1-D8)
  2. Cobertura y Consistencia (D9-D13)
  3. Razonamiento y Evidencia (D14-D17)
  4. Eficiencia Operativa (D18-D23)
  5. Uso de Herramientas y Navegación (D24-D27)
  6. Riesgo y Severidad (D28-D30)
  7. Robustez (D31-D35)

• Perfiles de Ponderación por Rol: Se definen 5 perfiles de peso específicos (CISO, CAIO, Investigador, Líder de Ingeniería, IA como Agente). Cada rol selecciona entre 12 y 16 dimensiones de las 35 disponibles y asigna pesos que suman 80 puntos.

  • Ejemplo: El CISO asigna mucho peso a la "Recall ponderada por severidad" y a la "Tasa de fallos críticos". El Líder de Ingeniería prioriza la "Precisión" y la "Tasa de hallazgos accionables".

• Puntuación Compuesta (Decision Score):

  • Se calcula una puntuación compuesta normalizada entre 0 y 100 para cada modelo y cada rol.
  • Exclusión dinámica: Si una dimensión no es computable (ej. métricas de uso de herramientas en modo "Code-in-Prompt"), el denominador se ajusta automáticamente para no penalizar injustamente al modelo.
  • Estrategias de Normalización: Se utilizan cuatro estrategias (Ratio, MCC, "Menor es mejor", "Mayor es mejor") con umbrales de referencia fijos para evitar artefactos de puntuación relativos a la cohorte.

• Capas de Evaluación (SecLens):

  • CIP (Code-in-Prompt): El modelo recibe el código vulnerable directamente. Evalúa razonamiento puro.
  • TU (Tool-Use): El modelo tiene acceso a un repositorio clonado y herramientas (read_file, search, list_dir). Evalúa capacidad de auditoría en el mundo real con navegación multi-turno.

3. Contribuciones Clave

1. Marco de 35 dimensiones: Un catálogo unificado aplicable a través de 5 perfiles de peso específicos.
2. Metodología de puntuación ponderada: Permite que la misma métrica base (ej. MCC) tenga diferentes impactos según el rol.
3. Evaluación empírica a gran escala: Pruebas de 12 modelos de vanguardia (Anthropic, Google, OpenAI, y modelos de código abierto como Qwen y Kimi) en 406 tareas derivadas de 93 proyectos de código abierto, cubriendo 10 lenguajes de programación y 8 categorías alineadas con OWASP.
4. Validación de la divergencia: Demostración empírica de que la selección de modelos para seguridad no es un problema de un solo objetivo.

4. Resultados Principales

El estudio reveló divergencias significativas en las puntuaciones según el rol evaluador:

• Divergencia de hasta 31 puntos: El mismo modelo puede obtener una calificación "A" para un rol y "D" para otro.
  • Caso Qwen3-Coder: Obtiene una A (76.3) para el Líder de Ingeniería (alta precisión, pocos falsos positivos) pero una D (45.2) para el CISO (pierde muchas vulnerabilidades críticas).
  • Caso GPT-5.4: Obtiene una A (76.7) para Ingeniería pero una D (48.4) para el CISO debido a su estrategia de predicción conservadora (bajo recall en vulnerabilidades críticas).
• El ranking global no predice el rendimiento por rol:
  • Gemini 3 Flash Preview lidera el ranking global (49.6%) y es bueno para el CISO.
  • Claude Haiku 4.5 está en el puesto 8 del ranking global, pero es la segunda mejor opción para el CISO (71.2), superando a modelos más caros y potentes en términos de cobertura de severidad.
• Análisis por Categoría: Ningún modelo domina todas las categorías. Por ejemplo, los modelos Claude (Sonnet/Opus) son excelentes en SSRF, pero Opus 4.6 tiene un F1 de 0.000 en Fallos de Autenticación.
• Capas CIP vs. TU:
  • La capa CIP es mucho más barata y suficiente para la mayoría de las decisiones de detección.
  • La capa TU es 10-100 veces más costosa y añade complejidad (navegación de repositorios), lo que reduce las puntuaciones globales y aumenta el costo por tarea, pero es vital para evaluar la capacidad de agentes autónomos.
• Análisis de Costo: GPT-5.4 ofrece la mejor relación calidad-dólar (MCC/$), mientras que Haiku 4.5 es la opción más económica, siendo viable para escaneos frecuentes con presupuesto limitado.

5. Significado e Implicaciones

• Fin del "Mejor Modelo Universal": No existe un modelo único que sea el mejor para todos los propósitos de seguridad. La selección debe basarse en el perfil de riesgo y los objetivos operativos de la organización.
• Estrategias Conservadoras vs. Agresivas:
  • Los modelos con alta precisión y bajo recall (conservadores) son ideales para equipos de ingeniería (evitan ruido).
  • Los modelos con alto recall y cobertura amplia (agresivos) son esenciales para los CISO (evitan pasar por alto amenazas críticas).
• Personalización Organizacional: El framework utiliza archivos YAML para los perfiles de peso, permitiendo a las organizaciones ajustar los criterios a sus propios riesgos y políticas sin modificar el código base.
• Relevancia para la Industria: SecLens-R no es solo un nuevo benchmark, sino una capa de puntuación que puede consumirse sobre los resultados de cualquier benchmark existente (como SecVulEval o TOSSS), transformando rankings estáticos en herramientas de decisión dinámicas.

En conclusión, SecLens-R demuestra que la evaluación de LLMs para seguridad debe ser consciente del stakeholder, ya que las métricas agregadas ocultan información crítica necesaria para la toma de decisiones estratégicas en ciberseguridad.