LLMs for Qualitative Data Analysis Fail on Security-specificComments in Human Experiments

1. Problema y Contexto

El análisis temático de justificaciones en texto libre en experimentos con sujetos humanos es una fuente valiosa de información cualitativa, pero es un proceso costoso y laborioso que requiere múltiples expertos en el dominio para garantizar la fiabilidad de las anotaciones.

Aunque los Modelos de Lenguaje Grande (LLMs) se han mostrado prometedores para tareas generales de análisis de texto (como el análisis de sentimientos), este estudio se centra en una tarea más compleja y específica del dominio: la anotación automática de comentarios técnicos de seguridad. El problema central es determinar si los LLMs pueden reemplazar a los anotadores humanos al identificar códigos temáticos específicos (por ejemplo, menciones de identificadores de código, líneas de código, palabras clave de seguridad, tipos de vulnerabilidades o posibles exploits) en las explicaciones de los participantes.

La hipótesis inicial era que los LLMs podrían ser una "fruta fácil" (low-hanging fruit) para automatizar este proceso, pero el estudio busca validar si esto es cierto para anotaciones técnicas de seguridad que requieren un entendimiento contextual profundo.

2. Metodología

Los autores diseñaron un experimento riguroso para evaluar el rendimiento de los LLMs en comparación con anotadores humanos expertos.

• Dataset: Se utilizó un conjunto de datos no publicado de 263 comentarios generados por humanos. Estos comentarios provienen de un experimento donde estudiantes de máster analizaron fragmentos de código con vulnerabilidades. Los comentarios fueron anotados por cuatro expertos humanos siguiendo un protocolo estándar de Análisis Temático (TA).
• Códigos a Detectar: Se evaluó la capacidad de los modelos para detectar 9 códigos de seguridad relevantes (ej. Var: identificadores de variables/métodos mencionados; Lin: líneas de código mencionadas; Key: palabras clave de seguridad; Vul: tipo de vulnerabilidad; Exp: exploit potencial; NoVul: no se encuentra vulnerabilidad, etc.).
• Modelos Evaluados: Se seleccionaron cuatro LLMs de vanguardia (basados en el ranking LiveBench):
  • Propietarios: GPT-5 y Claude-4.
  • Código Abierto: DeepSeek-V3.2 y Qwen3-Max.
• Estrategia de Prompts (RQ2): Se diseñaron prompts que imitaban el proceso de refinamiento humano de anotaciones, probando cuatro niveles de complejidad:
  • P1: Solo descripción de la tarea y nombres de los códigos.
  • P2: Inclusión de definiciones formales y ejemplos (libro de códigos).
  • P3: Inclusión de ejemplos anotados por otros humanos (few-shot).
  • P3+: Inclusión de ejemplos conflictivos y aclaraciones de investigadores sobre las diferencias sutiles (basado en un experimento piloto).
• Métricas de Evaluación:
  • Se utilizó la Precisión, Recall y Exactitud (Accuracy).
  • La métrica principal fue el Coeficiente Kappa de Cohen ($\kappa$), interpretado como exactitud corregida por azar. Esto es crucial porque en conjuntos de datos desequilibrados (donde un código es raro), una alta exactitud simple puede ser engañosa. El Kappa mide la concordancia más allá del azar, comparando al LLM con los anotadores humanos y revisores.
  • Se aplicaron pruebas estadísticas (Wilcoxon) para comparar el rendimiento entre diferentes prompts y modelos.

3. Contribuciones Clave

• Evaluación Específica de Dominio: Es uno de los primeros estudios que evalúa LLMs no en análisis de sentimientos general, sino en la extracción de códigos temáticos técnicos y de seguridad en el contexto de la ingeniería de software.
• Metodología de Comparación Justa: El estudio establece que no se debe exigir a los LLMs un estándar superior al de los humanos, sino que deben alcanzar un nivel de concordancia (Kappa) comparable al de los anotadores humanos entre sí.
• Análisis de Prompts Iterativos: Proporciona evidencia empírica sobre el impacto de la ingeniería de prompts (desde definiciones básicas hasta ejemplos conflictivos) en tareas de anotación técnica.
• Repositorio Abierto: El código y los datos están disponibles públicamente para replicación.

4. Resultados Principales

Los resultados son predominantemente negativos para la hipótesis de reemplazo total:

• Incapacidad de Reemplazo General: Ningún LLM probado logró reemplazar de manera fiable a un anotador humano en la tarea general. Los valores de Kappa promedio se mantuvieron en rangos de "limitado" o "moderado", muy por debajo del "casi perfecto" logrado por los humanos entre sí.
• Rendimiento Variable por Código:
  • Los modelos tuvieron cierto éxito en tareas superficiales como identificar identificadores de variables (Var) o la ausencia de vulnerabilidad (NoVul).
  • Fallaron estrepitosamente en códigos que requieren razonamiento semántico o contexto implícito, como identificar respuestas poco claras (Unclr) o posibles exploits (Exp).
• Impacto de los Prompts:
  • Hubo una mejora significativa al pasar de P1 (solo nombres) a P2 (definiciones formales).
  • Sin embargo, añadir más ejemplos, definiciones detalladas o casos conflictivos (P3 y P3+) no generó mejoras estadísticamente significativas en el rendimiento global. En algunos casos, la complejidad excesiva confundió a los modelos.
• Desempeño de Modelos: Sorprendentemente, los modelos de código abierto (DeepSeek y Qwen) mostraron un rendimiento general ligeramente superior o comparable a los modelos propietarios (GPT-5 y Claude-4) en esta tarea específica.
• Errores Comunes: Los LLMs tendían a confundir terminología técnica general con identificadores de código específicos, o a malinterpretar la incertidumbre expresada por los humanos (ej. interpretar "probablemente" como una afirmación de vulnerabilidad).

5. Significado y Conclusiones

El estudio concluye que, actualmente, los LLMs no están listos para reemplazar a los anotadores humanos en la anotación cualitativa de comentarios técnicos de seguridad.

• Rol Asistivo, No Autónomo: La recomendación es que los LLMs deben utilizarse como herramientas asistivas (por ejemplo, para generar un primer borrador de anotaciones o pre-filtrar datos) que requieren verificación humana, en lugar de agentes autónomos.
• Limitaciones de la Ingeniería de Prompts: El simple refinamiento de prompts (aumentando el esfuerzo en tokens y ejemplos) tiene rendimientos decrecientes y no supera las limitaciones arquitectónicas de los modelos para entender el razonamiento de seguridad profundo.
• Implicaciones Futuras: Se necesitan más investigaciones para desarrollar interfaces de prompting estructuradas, calibración de modelos y pipelines híbridos que combinen la velocidad de los LLMs con la intuición y el juicio experto de los humanos en tareas de ingeniería de software de alta complejidad.

En resumen, el artículo ofrece una advertencia necesaria contra la sobreconfianza en la automatización de tareas de análisis cualitativo en dominios de seguridad, demostrando que la comprensión contextual y la interpretación de matices técnicos siguen siendo un desafío mayor para la IA actual.