Resumen Técnico: TVR – Validación y Recuperación de Trazabilidad mediante Generación Aumentada por Recuperación

1. Definición del Problema

En el desarrollo de software automotriz, mantener una trazabilidad precisa entre los requisitos de las partes interesadas (necesidades de alto nivel) y los requisitos del sistema (especificaciones detalladas) es crítico para garantizar la consistencia, la corrección y el cumplimiento normativo (por ejemplo, ASPICE, ISO 26262). Sin embargo, los procesos de trazabilidad manual son propensos a errores, lo que conduce a:

• Propagación inadecuada de cambios: Las actualizaciones en los requisitos de las partes interesadas a menudo no se reflejan en los requisitos del sistema, creando vínculos desactualizados o inválidos.
• Errores de mapeo humano: Surgen mapeos incorrectos o enlaces faltantes debido a la naturaleza laboriosa de la verificación manual.
• Variaciones lingüísticas y estructurales: Los requisitos se expresan con terminologías, niveles de abstracción y plantillas variables (por ejemplo, "Pérdida de Comunicación" frente a "Datos Implausibles" en los Códigos de Diagnóstico de Falla o DTC). Los enfoques tradicionales basados en similitud (por ejemplo, TF-IDF, SentenceBERT) y el prompting estándar de Modelos de Lenguaje de Gran Escala (LLM) (Zero-Shot, Chain-of-Thought) luchan por generalizar a través de estas variaciones heterogéneas y a menudo fallan al distinguir diferencias semánticas sutiles en las definiciones de mensajes y señales.

El desafío específico abordado es la validación de los enlaces de trazabilidad existentes y la recuperación de enlaces faltantes entre los requisitos de DTC de las partes interesadas y del sistema, donde un requisito del sistema puede cubrir múltiples requisitos de las partes interesadas, y la similitud textual por sí sola es insuficiente para la validación.

2. Metodología: El Enfoque TVR

Los autores proponen TVR (Traceability Validation and Recovery), un marco que aprovecha la Generación Aumentada por Recuperación (RAG) potenciada con Aprendizaje en Contexto (In-Context Learning). A diferencia de los sistemas RAG tradicionales que recuperan documentos externos para aumentar el conocimiento del dominio, TVR recupera pares de requisitos previamente etiquetados para servir como ejemplos de razonamiento.

Componentes Principales

1. Recuperador (Retriever):

   • Entrada: Un par de prueba $\langle \text{stakeReq}, \text{sysReq} \rangle$.
   • Mecanismo: Genera embeddings para pares de requisitos concatenados utilizando el modelo Amazon Titan (seleccionado debido a las restricciones del socio industrial).
   • Selección: Recupera los $k$ ejemplos más similares válidos (positivos) y los $k$ ejemplos más similares inválidos (negativos) de una base de datos de entrenamiento ($D_{train}$).
   • Similitud: Utiliza la Similitud de Coseno (optimizada en $k=3$) a través de la biblioteca FAISS.

2. Generador (Generator):

   • Modelo: Evaluado principalmente utilizando Claude 3.5 Sonnet, aunque se probaron 13 LLMs.
   • Estrategia de Prompting: El generador recibe un prompt que contiene:
     • Instrucción: Una tarea específica para verificar si el requisito del sistema cubre el mensaje o la señal específica en el requisito de la parte interesada (estrechando el alcance de la trazabilidad general a la cobertura de señal específica).
     • Contexto: Los $k \times 2$ ejemplos recuperados (válidos e inválidos) para guiar el razonamiento del modelo.
     • Entrada: El par de prueba a ser evaluado.
     • Indicador de Salida: Una respuesta binaria "Sí" o "No".
   • Objetivo: El LLM utiliza los ejemplos recuperados como "demostraciones" para aprender los patrones de decisión para la corrección de la trazabilidad, en lugar de depender de la recuperación de conocimiento externo.

3. Recuperación de Trazabilidad (Preprocesamiento):
   Para recuperar los enlaces faltantes sin un proceso de búsqueda de producto cartesiano exhaustivo, TVR emplea una estrategia de filtrado de tres pasos:

   • Mapeo de Variaciones: Empareja los requisitos según el tipo de DTC (por ejemplo, "Pérdida de Comunicación" solo se vincula con "Pérdida de Comunicación").
   • Mapeo de Condiciones: Empareja los requisitos según el tipo de condición (Maduro vs. Dematuro).
   • Mapeo de Solapamiento de Mensajes: Filtra los pares que no comparten al menos un token común de mensaje o señal.
     Los candidatos filtrados son entonces validados por TVR para identificar los enlaces válidos faltantes.

3. Contribuciones Clave

• Marco de Trabajo TVR: Un novedoso enfoque basado en RAG diseñado específicamente para validar y recuperar enlaces de trazabilidad en sistemas automotrices, utilizando ejemplos en contexto en lugar de la recuperación de conocimiento externo.
• Robustez ante Variaciones: Capacidad demostrada para manejar variaciones de requisitos no vistas (diferentes plantillas y terminologías) aprovechando la comprensión semántica de los LLM aumentada con ejemplos representativos.
• Evaluación Exhaustiva: Una evaluación rigurosa a través de 13 LLMs (incluyendo familias Claude, Llama, Mistral y Titan) y cuatro estrategias de prompting (Zero-Shot, CoT, Few-Shot, Self-Consistency), comparando TVR contra líneas de base de vanguardia (LiSSA, TF-IDF, SentenceBERT).
• Validación Industrial: Evaluación sobre un conjunto de datos industrial real de 2,132 pares de requisitos DTC de un socio automotriz, con la verdad fundamental establecida mediante anotación estructurada por ingenieros de sistemas.

4. Resultados Experimentales

El estudio se llevó a cabo en un conjunto de datos de 1,320 requisitos de las partes interesadas vinculados a 48 requisitos del sistema (2,132 enlaces).

• Validación de Trazabilidad:

  • Precisión (Accuracy): TVR (usando Claude 3.5 Sonnet con RAG) alcanzó un 98.87% de precisión.
  • Macro-F1: Alcanzó un 96.72%, superando significativamente a la mejor línea de base (LiSSA-CoT con 52.89% y SentenceBERT con 57.82%).
  • Comparación: El prompting Zero-Shot en el mismo modelo arrojó solo un 79.55% de precisión, lo que resalta la necesidad del enfoque RAG/In-Context.
  • Robustez: Al ser probado en variaciones de requisitos no vistas (validación cruzada a través de cuatro categorías de variación), TVR mantuvo un 97.13% de precisión y un Macro-F1 de 90.86%.

• Recuperación de Trazabilidad:

  • Después de que el preprocesamiento de tres pasos redujera el grupo de candidatos de ~30k a 1,919 pares, TVR identificó 502 enlaces faltantes potenciales.
  • Corrección: La verificación humana confirmó que el 85.50% de los enlaces recuperados eran correctos.

• Análisis de Errores:

  • Los errores ocurrieron principalmente cuando el LLM se centró en las condiciones de activación en lugar del mensaje de entrada objetivo, o cuando consideró componentes más allá de la señal específica (por ejemplo, reglas de validación).
  • TVR y las líneas de base basadas en recuperación (SentenceBERT) mostraron patrones de error ortogonales, lo que sugiere potencial para enfoques híbridos.

5. Significado y Reivindicaciones

El artículo afirma que TVR ofrece una solución práctica y de alta precisión para entornos industriales donde la trazabilidad de requisitos es crítica pero se mantiene manualmente.

• Eficiencia: Reduce significativamente el esfuerzo manual requerido para la verificación de la trazabilidad, abordando las restricciones de tiempo y costo reportadas por los socios industriales.
• Fiabilidad: Su alta precisión (98.87%) y robustez ante variaciones no vistas lo hacen adecuado para el despliegue en sistemas automotrices complejos y en evolución.
• Interpretabilidad: El marco de trabajo soporta la explicabilidad; cuando se configura para ello, el LLM puede proporcionar un razonamiento paso a paso (por ejemplo, identificando el mensaje específico y verificando su presencia en el requisito del sistema), ayudando a los ingenieros a verificar las decisiones automatizadas.
• Limitaciones y Trabajo Futuro: Los autores reconocen que el enfoque depende de la calidad de la base de datos de recuperación y que pueden ocurrir falsos positivos debido a que el modelo ocasionalmente falla en adherirse estrictamente al enfoque de "solo mensaje". Sugieren que el trabajo futuro podría involucrar la hibridación de la similitud basada en recuperación con el razonamiento de LLM y el refinamiento del preprocesamiento para excluir condiciones de activación.

Los autores concluyen que, si bien TVR está actualmente adaptado a los requisitos DTC automotrices, sus principios subyacentes de uso de aprendizaje en contexto aumentado por recuperación para la validación de requisitos son adaptables a otros dominios que requieren trazabilidad de requisitos de alto nivel a bajo nivel.