LLMs-Powered Real-Time Fault Injection: An Approach Toward Intelligent Fault Test Cases Generation

Resumen Técnico: Inyección de Fallos en Tiempo Real Potenciada por LLMs para la Generación Inteligente de Casos de Prueba

1. Problema Identificado

La evaluación de seguridad y validación en tiempo real de los sistemas de software automotriz (ASS) es crítica, especialmente bajo el estándar ISO 26262. El método tradicional de Inyección de Fallos (FI) requiere la definición manual de tres atributos clave: tipo de fallo, ubicación y momento de inyección.

• Limitaciones actuales: A medida que la complejidad de los sistemas aumenta (cientos de unidades de control interconectadas), el proceso manual se vuelve prohibitivamente costoso, lento y propenso a errores.
• Desafío: Los enfoques actuales o son aleatorios (reduciendo la cobertura de pruebas) o exhaustivos (generando un número ilimitado de casos de prueba no viables). Existe una necesidad urgente de un enfoque inteligente que genere casos de prueba de fallos realistas y sistemáticos basados en los Requisitos de Seguridad Funcional (FSR) para escenarios de prueba en tiempo real.

2. Metodología Propuesta

El artículo presenta un marco de trabajo novedoso que integra Modelos de Lenguaje Grande (LLMs) en el proceso de inyección de fallos en un entorno de Hardware-in-the-Loop (HIL). El enfoque se divide en tres fases principales:

• Fase 1: Generación de Casos de Prueba (TCs) asistida por LLM:

  • Entrada: Los FSRs se proporcionan como texto natural al LLM. A diferencia de los modelos ML tradicionales, no se requiere preprocesamiento de texto complejo gracias a la capacidad de procesamiento de lenguaje natural de los LLMs.
  • Clasificación: El LLM clasifica automáticamente los FSRs en categorías relacionadas con sensores o actuadores para reducir la incertidumbre y mejorar el rendimiento.
  • Generación de Fallos: Basándose en la clasificación, el LLM identifica fallos potenciales (ej. ganancia, offset, atascado, retraso, ruido, pérdida de paquetes, deriva, picos) y genera una salida estructurada en formato JSON. Esta salida define qué componentes (sensores/actuadores) deben recibir la inyección de fallo (valor 1) y cuáles no (0).
  • Escenarios: El sistema soporta tanto fallos únicos como fallos concurrentes (hasta dos simultáneos), cumpliendo con las restricciones de seguridad crítica.

• Fase 2: Ejecución en Tiempo Real (HIL):

  • Los parámetros de fallo se transmiten a un marco de inyección de fallos en tiempo real que interactúa con un sistema HIL de alta fidelidad (incluyendo un modelo de motor de gasolina y dinámica del vehículo).
  • Se utiliza una interfaz CAN en tiempo real (RTICANMM) para acceder y modificar las señales sin alterar la arquitectura del sistema (enfoque de "caja negra").

• Fase 3: Análisis de Resultados:

  • Se compara el comportamiento del sistema bajo condiciones de fallo con una "ejecución dorada" (sin fallos).
  • Se evalúa si el sistema cumple con los FSRs y se generan informes de retroalimentación para el equipo de desarrollo en caso de violaciones.

3. Contribuciones Clave

• Enfoque Novel: Es el primer estudio que investiga la integración de LLMs con pruebas de inyección de fallos durante la validación en tiempo real de sistemas automotrices en un sistema HIL.
• Automatización Inteligente: Propone un método para generar automáticamente casos de prueba representativos a partir de requisitos de texto, optimizando el proceso de prueba en tiempo real.
• Clasificación y Generación: Implementa una tarea de clasificación basada en LLM para agrupar FSRs de sensores y actuadores, mejorando la precisión de la generación de fallos.
• Análisis Comparativo: Realiza un análisis exhaustivo de varios modelos de LLM (tanto propietarios como de código abierto) evaluando el impacto del tamaño de los datos y el tipo de modelo en el rendimiento.
• Validación en Escenario Real: Demuestra la eficacia del enfoque inyectando los casos generados en un sistema HIL de alta fidelidad, analizando el comportamiento del sistema bajo condiciones de fallo críticas.

4. Resultados Experimentales

Se evaluaron varios modelos (gpt-4o, gpt-4o-mini, LLaMA-3-70b, phi-4-14b, qwen2.5-7b) utilizando un conjunto de datos de 134 FSRs.

• Clasificación de FSRs:

  • gpt-4o obtuvo el mejor rendimiento con un F1-score del 88.0% en la clasificación binaria (sensor vs. actuador).
  • Los modelos de código abierto como qwen2.5-7b y phi-4-14b también mostraron resultados competitivos (85.7% y 83.2% respectivamente).

• Generación de Casos de Prueba (TCs):

  • gpt-4o demostró superioridad con un F1-score del 97.5% en la generación de casos de prueba de un solo sensor.
  • phi-4-14b (modelo de código abierto) destacó notablemente con un F1-score del 96.6%, ofreciendo una alternativa viable y localmente ejecutable.
  • Se observó que modelos más pequeños (como gpt-4o-mini) tenían limitaciones de capacidad, mientras que modelos como phi-4-14b mostraron gran robustez en la generación estructurada gracias a su entrenamiento en datos sintéticos de alta calidad.

• Análisis de Comportamiento:

  • La inyección de fallos (ej. retraso en el sensor de acelerador o fallos concurrentes en sensores de RPM y acelerador) reveló violaciones de FSRs y comportamientos inestables (desviaciones de velocidad del motor, sobrecalentamiento) que no se detectaron en pruebas aleatorias, validando la utilidad del enfoque para identificar puntos débiles críticos.

5. Significado e Impacto

• Optimización de Costos y Tiempos: Este enfoque reduce significativamente el esfuerzo manual, el tiempo y los costos asociados con la creación de casos de prueba de seguridad crítica.
• Mejora de la Seguridad: Al generar casos de prueba más representativos y cubrir escenarios de fallos concurrentes complejos, se mejora la detección de vulnerabilidades en sistemas de seguridad crítica antes de su despliegue.
• Escalabilidad y Flexibilidad: El uso de few-shot prompting permite adaptar el sistema a nuevos entornos o listas de sensores sin necesidad de reentrenamiento costoso, facilitando la integración en flujos de trabajo de desarrollo ágiles.
• Futuro: El trabajo sienta las bases para futuras investigaciones que incluyan fallos a nivel de comunicación (CAN) y ECU, así como la capacidad de los LLMs para proporcionar explicaciones (rationales) sobre las predicciones de fallo, apoyando la toma de decisiones de los ingenieros.

En conclusión, el artículo demuestra que los LLMs pueden transformar la validación de seguridad automotriz, pasando de métodos manuales y estáticos a un proceso dinámico, inteligente y altamente eficiente.