Who Said CVE? How Vulnerability Identifiers Are Mentioned by Humans, Bots, and Agents in Pull Requests

Planteamiento del Problema
Las vulnerabilidades de software se gestionan habitualmente mediante sistemas de identificación estandarizados como Common Vulnerabilities and Exposures (CVE), Common Weakness Enumeration (CWE) y GitHub Security Advisories (GHSA). Si bien investigaciones previas han establecido que estos identificadores se referencian en artefactos de desarrollo de código abierto, como commits y problemas (issues), sus patrones de uso específicos dentro de los pull requests (PR) siguen sin estar claros. Esto es particularmente relevante dado el panorama evolutivo del desarrollo de software, donde agentes de codificación autónomos, bots y desarrolladores humanos colaboran. No se comprende bien quién menciona estos identificadores, dónde aparecen dentro de los artefactos de los PR y la intención detrás de su uso. Específicamente, se desconoce si los agentes autónomos participan significativamente en las tareas de mantenimiento de seguridad o si este trabajo sigue siendo impulsado principalmente por humanos y bots de gestión de dependencias.

Metodología
El estudio utiliza un enfoque de métodos mixtos que combina un análisis cuantitativo a gran escala con una codificación cualitativa:

• Construcción del Conjunto de Datos: Los autores aprovecharon el conjunto de datos AIDev-pop, un subconjunto de la colección AIDev que contiene 33,596 pull requests de cinco agentes autónomos (OpenAI Codex, Devin, GitHub Copilot, Cursor y Claude Code) provenientes de 2,807 repositorios con un alto número de estrellas. Para permitir la comparación, este conjunto de datos fue aumentado mediante la consulta de los mismos repositorios para identificar pull requests creados por humanos o bots que mencionen explícitamente identificadores de vulnerabilidad dentro del mismo período de tiempo (del 1 de enero de 2025 al 1 de agosto de 2025).
• Estrategia de Detección: El estudio se centró en cuatro esquemas de ID de vulnerabilidad identificados en los datos: CVE, GHSA, CWE e IDs específicos de Go (GO). Se aplicaron expresiones regulares basadas en la especificación de Open Source Vulnerability (OSV) en los títulos de los PR, descripciones, comentarios, comentarios de revisión y mensajes de commit vinculados.
• Clasificación: Las cuentas se clasificaron como bots, humanos o agentes. La identificación de bots se basó en señales de alta precisión: etiquetas explícitas de bot de GitHub, nombres de usuario que contienen "bot" y una lista curada de cuentas de bots conocidas.
• Análisis: El análisis cuantitativo midió la frecuencia y distribución de las menciones entre los tipos de contribuyentes y los lugares de los artefactos. El análisis cualitativo involucró a dos autores codificando de forma independiente una muestra aleatoria de 70 pull requests para identificar patrones de uso y contextos recurrentes, resolviendo las discrepancias para establecer un esquema de codificación compartido.

Contribuciones Clave

• Análisis Comparativo de Actores: El artículo proporciona la primera comparación sistemática de cómo los humanos, los bots y los agentes autónomos mencionan identificadores de vulnerabilidad en los pull requests.
• Mapeo Granular de Ubicación: Detalla no solo quién menciona los IDs, sino también dónde aparecen (por ejemplo, descripciones de PR frente a mensajes de commit), revelando distintos patrones de comportamiento entre los tipos de actores.
• Comprensión Contextual: A través del análisis cualitativo, el estudio categoriza las intenciones específicas detrás de las menciones de IDs, distinguiendo entre la señalización automatizada y el razonamiento impulsado por humanos o agentes.

Resultados

• Volumen y Distribución: Los bots representan la gran mayoría de las menciones de identificadores de vulnerabilidad (aproximadamente el 69.1% del total de menciones, o 5,345 menciones en 4,184 PR). Las cuentas humanas contribuyeron con 2,302 menciones, mientras que las cuentas de agentes contribuyeron solo con 90 menciones.
• Concentración vs. Amplitud: Aunque los bots generan el mayor volumen, típicamente añaden pocos identificadores por PR (mediana de uno) y concentran estas menciones casi exclusivamente en las descripciones de los PR. En contraste, las menciones de humanos y agentes son más raras en general, pero abarcan una gama más amplia de artefactos, incluyendo mensajes de commit y títulos de PR. Las cuentas humanas mostraron una distribución más amplia, con algunos PR que contenían hasta 51 menciones, a menudo relacionadas con mejoras de herramientas o mapeo de clasificación.
• Patrones de Uso (Hallazgos Cualitativos):
  • Bots: Utilizan principalmente los IDs para actualizaciones de dependencias automatizadas (por ejemplo, Dependabot, Renovate) y auditorías de seguridad. Sus menciones sirven como señales ligeras que justifican las actualizaciones o informan hallazgos, vinculándose a menudo con bases de datos de avisos.
  • Humanos: Utilizan con mayor frecuencia los IDs para apoyar correcciones de vulnerabilidades, resolver conflictos de fusión (merge conflicts) o participar en discusiones de PR. Utilizan los IDs para explicar cambios de código, justificar parches y razonar sobre el riesgo.
  • Agentes: Exhiben un patrón mixto, utilizando los IDs tanto para actividades de mitigación como para controles de seguridad automatizados, aunque su volumen total es bajo.
• Contextos Específicos: El estudio identificó cuatro contextos principales para el uso de IDs: actualizaciones de dependencias automatizadas (47 ocurrencias), correcciones/mitigación de vulnerabilidades (12 ocurrencias), auditorías de seguridad de dependencias (10 ocurrencias) y referencias ilustrativas para compensaciones de diseño (1 ocurrencia).

Significancia y Reivindicaciones
El artículo sostiene que los identificadores de vulnerabilidad cumplen distintos roles de coordinación dependiendo del actor. Las menciones generadas por bots funcionan principalmente como señales automatizadas para justificar actualizaciones de dependencias o informar hallazgos de auditoría, a menudo limitadas a las descripciones de los PR. Por el contrario, las menciones de humanos y agentes están más integradas en el ciclo de vida del desarrollo, apareciendo en mensajes de commit y discusiones para explicar correcciones, razonar sobre el riesgo y apoyar decisiones de diseño.

Los autores sugieren que, a medida que los agentes autónomos participan cada vez más en el desarrollo relacionado con la seguridad, existe la necesidad de herramientas y flujos de trabajo de revisión que apoyen mejor el uso contextual de los IDs más allá de la simple señalización automatizada. Esto incluye preservar la justificación, vincular los IDs con cambios de código específicos y hacer que la intención de seguridad sea más visible para los revisores. El estudio no pretende resolver estos problemas, sino que destaca la divergencia en cómo los diferentes actores utilizan estos identificadores, sugiriendo que el trabajo futuro debería examinar cómo estos patrones influyen en los resultados de la revisión y los tiempos de remediación.