Resumen Técnico: Disciplina de Citación en el Desarrollo Basado en Especificaciones

Planteamiento del Problema

El surgimiento de sistemas de codificación agénticos, donde los Modelos de Lenguaje de Gran Escala (LLM) escriben y revisan software de forma autónoma, introduce una brecha crítica de rendición de cuentas: la verificación de que el código generado implementa estrictamente los requisitos especificados sin introducir "alucinaciones". Estas alucinaciones —que se manifiestan como funciones fuera de alcance, importaciones no autorizadas provenientes de los datos de entrenamiento o sobreingeniería— a menudo superan las pruebas funcionales mientras introducen riesgos de seguridad o cumplimiento.

Si bien la trazabilidad tradicional de requisitos (por ejemplo, IEEE 830, herramientas como DOORS) vincula los requisitos con los productos de trabajo, estos métodos son típicamente de nivel de artefacto y manuales, poco adecuados para la iteración rápida asistida por IA. Tres marcos emergentes de Desarrollo Basado en Especificaciones (SDD) intentan abordar esto con diferentes filosofías:

• traceSDD: Impone citaciones en línea obligatorias por línea (por ejemplo, # [REQ-XXX.Y.Z]) vinculando el código a puntos específicos de los requisitos.
• Spec Kit: Utiliza trazabilidad a nivel de artefacto (historias de usuario, criterios de aceptación) pero carece de citaciones de código en línea.
• OpenSpec: Depende de mapas de traza externos post-hoc (archivos sidecar YAML) sin anotar el código fuente directamente.

La pregunta central de investigación es si forzar a un LLM a citar los requisitos para cada línea de código mejora la corrección de la implementación, el determinismo de la salida y la detectabilidad de las alucinaciones, y si estos efectos se generalizan a través de diferentes arquitecturas de modelos.

Metodología

Los autores realizaron dos estudios empíricos controlados e independientes, pre-registrados, comparando las cuatro condiciones (traceSDD citado, traceSDD no citado, Spec Kit, OpenSpec) a través de dos LLM de frontera distintos:

1. Estudio 1: Utilizó Claude Sonnet 4.6 con 20 tareas de benchmark en Python (N=20), generando 240 implementaciones totales (3 ejecuciones por tarea).
2. Estudio 2: Utilizó GLM-5-turbo con 50 tareas de benchmark novedosas que abarcan 8 dominios de ingeniería de software, 3 niveles de dificultad y 2 clases de tamaño (N=50), generando 600 implementaciones totales.

Condiciones Experimentales:

• traceSDD (citado): Especificaciones jerárquicas REQ-XXX.Y.Z con citaciones en línea obligatorias en líneas no triviales.
• traceSDD (no citado): Especificaciones idénticas a la condición citada pero sin citaciones en línea (aislando el efecto del mecanismo de anotación).
• Spec Kit: Especificaciones de prosa nativa (historias de usuario) sin mecanismo de citación.
• OpenSpec: Especificaciones de capacidad nativa con archivos de traza YAML externos.

Métricas:

• Determinismo de la Salida: Medido mediante la Puntuación de Similitud Léxica (LSS) usando Levenshtein Set Similarity en código normalizado y sin comentarios a partir de sesiones independientes.
• Detección de Alucinaciones: Medida mediante la Tasa de Detección de Trazabilidad (TDR). Las alucinaciones fueron inyectadas deliberadamente (funciones fuera de alcance, importaciones no autorizadas, sobreingeniería) citando IDs de REQ falsos. La detección dependió de un "chequeo de REQ-huérfano" (diferencia de conjuntos entre los IDs citados y los IDs de especificación válidos).
• Corrección Funcional: Medida mediante la Tasa de Verdaderos Positivos (TPR) contra suites de pruebas de verdad fundamental (ground-truth).
• Tasa de Falsos Positivos (FPR): Frecuencia de falsas alarmas en implementaciones correctas.

Contribuciones Clave

1. Primera Comparación entre Modelos: Proporciona la primera comparación controlada de disciplinas de citación de SDD a través de dos arquitecturas de LLM fundamentalmente diferentes (Transformer/Constitutional AI vs. Autoregresivo/Bidireccional), involucrando 70 tareas y 840 implementaciones.
2. Replicación del Hallazgo de Aislamiento de Citación: Confirma que las citaciones obligatorias en línea reducen significativamente el determinismo de la salida en comparación con una condición idéntica no citada, un hallazgo que se mantiene en ambos modelos.
3. Análisis Exhaustivo de Subgrupos: Revela que la penalización de determinismo de las citaciones es más pronunciada en tareas fáciles y pequeñas, disminuyendo a medida que aumenta la complejidad y el tamaño de la tarea.
4. Detección Automatizada de Alucinaciones: Demuestra que el chequeo de REQ-huérfano en la condición citada logra altas tasas de detección (86–88%) con 0% de falsos positivos, una capacidad no alcanzada por Spec Kit u OpenSpec.

Resultados Clave

1. Determinismo de la Salida (RQ1)

Se observó un compromiso constante: la citación reduce el determinismo.

• Penalización de Citación: La condición no citada produjo una salida significativamente más determinista que la condición citada en ambos modelos (Claude: $d = -0.76, p = 0.003$; GLM: $d = -0.72, p < 0.001$).
• Comparación de Frameworks:
  • traceSDD (citado) superó significativamente a Spec Kit en determinismo (Claude: $d = 0.47$; GLM: $d = 0.42$).
  • traceSDD (citado) no superó significativamente a OpenSpec (Claude: $d = 0.18$; GLM: $d = 0.14$).
  • La condición no citada alcanzó consistentemente el mayor determinismo, superando a ambos baselines externos con grandes tamaños de efecto.
• Análisis de Subgrupos: La penalización de determinismo fue mayor para tareas fáciles ($d = -1.85$) y pequeñas ($d = -0.95$), pero no fue estadísticamente significativa para tareas difíciles o grandes. Esto sugiere que la variabilidad en la colocación de la citación constituye una fracción mayor de la variabilidad total en tareas más simples.

2. Detección de Alucinaciones (RQ2)

• Tasa de Detección: Solo la condición traceSDD (citado) permitió la detección automatizada de alucinaciones, logrando un 86.4% (Claude) y un 88.0% (GLM) de TDR.
• Detección Cero en Alternativas: La condición no citada (a pesar de usar la misma especificación estructurada), Spec Kit y OpenSpec lograron un 0% de TDR. Esto prueba que la detección requiere el mecanismo de anotación dentro del código, no solo la presencia de una especificación estructurada.
• Falsos Positivos: El FPR fue de 0.0% en todos los chequeos en ambos estudios.
• Corrección Funcional: Todas las condiciones alcanzaron un 100% de TPR, confirmando que la disciplina de citación en sí misma no degrada la corrección funcional.

Significado y Reivindicaciones

El artículo establece que la disciplina de citación en los marcos de SDD implica un compromiso (trade-off) de principios: reducción del determinismo de la salida a cambio de la detección automatizada de alucinaciones.

• El Compromiso: Las citaciones obligatorias en línea introducen variabilidad léxica (debido a la toma de decisiones del modelo sobre dónde y cómo citar), reduciendo la consistencia de la generación de código entre sesiones. Sin embargo, este mismo mecanismo crea un chequeo verificable y automatizado (el chequeo de REQ-huérfano) que detecta el aumento de alcance (scope creep) y las características no autorizadas con alta precisión y cero falsos positivos.
• Generalizabilidad: La consistencia de los tamaños de efecto ($d \approx -0.72$) y las tasas de detección a través de dos arquitecturas distintas (Claude y GLM) sugiere que estos son propiedades estructurales del mecanismo de anotación de citación más que artefactos de un modelo específico.
• Implicaciones Prácticas:
  • Para dominios regulados/de alto riesgo (salud, finanzas), el artículo recomienda traceSDD con citaciones obligatorias, ya que la capacidad única de detectar alucinaciones supera el costo moderado en determinismo.
  • Para prototipado rápido donde la verificación es secundaria, se recomienda el enfoque de formato REQ no citado, ya que retiene los beneficios de anclaje estructural del formato REQ (mayor determinismo que los baselines) sin la sobrecarga de la citación.
  • Spec Kit es identificado como la opción más débil en las dimensiones medidas (menor determinismo, sin detección automatizada), aunque los autores reconocen que sus beneficios de flujo de trabajo pueden diferir.

Los autores concluyen que, si bien la disciplina de citación reduce el determinismo, proporciona una capa de verificación automatizada única, esencial para entornos de producción donde la corrección de la especificación es crítica. Se sugiere como trabajo futuro explorar enfoques híbridos y la integración de estos chequeos en los pipelines de CI/CD.