Fault Detection and Explainable Classification in Automotive HIL Validation via Denoising Autoencoders and In-Context Large Language Models

Resumen Técnico: Detección de Fallos y Clasificación Explicable en la Validación HIL Automotriz

Planteamiento del Problema
La validación de los Sistemas de Software Automotriz (ASS) modernos genera grabaciones de pruebas multivariantes masivas a partir de simulaciones de Hardware-in-the-Loop (HIL). Los flujos de trabajo de validación actuales dependen en gran medida de revisiones manuales intensivas en esfuerzo y evaluaciones basadas en reglas, las cuales tienen dificultades para detectar fallos que quedan fuera de las reglas predefinidas o de los datos históricos. Si bien el aprendizaje automático (ML) y el aprendizaje profundo (DL) han avanzado en el diagnóstico de fallos, los modelos supervisados requieren grandes conjuntos de datos etiquetados, generalizan pobremente ante condiciones no vistas y carecen de interpretabilidad. Por el contrario, los métodos no supervisados a menudo carecen de las capacidades de razonamiento para clasificar tipos de fallos específicos o proporcionar explicaciones de la causa raíz. Existe una brecha crítica en los marcos de trabajo que puedan detectar simultáneamente anomalías sin etiquetas de fallo, clasificarlas con alta capacidad de generalización a través de diferentes trenes motrices y regímenes de conducción, y proporcionar informes de diagnóstico interpretables para los ingenieros.

Metodología
Los autores proponen un marco de trabajo generalizable de dos fases que desacopla la detección de fallos de la clasificación de fallos, utilizando Autoencoders de Denotación (DAE) y Modelos de Lenguaje de Gran Escala (LLM) congelados.

1. Fase 1: Detección de Fallos sin Etiquetas (DAE)

   • Un DAE se entrena exclusivamente con datos de señales saludables. Al añadir ruido gaussiano durante el entrenamiento, el modelo aprende a reconstruir la estructura intrínseca del comportamiento normal.
   • Durante la validación, se analiza el error de reconstrucción. Las ventanas con errores que exceden un umbral predefinido se marcan como anormales. Este enfoque elimina la necesidad de etiquetas de fallo durante la fase de detección.
   • El DAE se entrena con datos de dos trenes motrices distintos (motor de gasolina y vehículo eléctrico) y se valida a través de tres regímenes de conducción (urbano, no urbano, autopista).

2. Fase 2: Clasificación Explicable (LLM Congelado)

   • Las ventanas anormales no se introducen directamente como datos de series temporales brutos. En su lugar, se convierten en evidencia textual compacta y estructurada. Esta evidencia incluye descriptores estadísticos (por ejemplo, puntuación z, mediana, desviación máxima) en relación con una referencia saludable alineada temporalmente.
   • Crucialmente, la representación de la evidencia separa las desviaciones de la señal raíz directa de los efectos propagados para fomentar el razonamiento de la causa raíz.
   • Un LLM congelado (sin actualizaciones de parámetros) clasifica el fallo utilizando aprendizaje en contexto (in-context learning). El sistema emplea estrategias de prompting tanto de zero-shot (solo instrucción) como de few-shot (instrucción + ejemplos etiquetados de una región temporal segura contra fugas de información).
   • El modelo genera un objeto JSON restringido que contiene la clase predicha, las alternativas clasificadas, el valor de confianza, la ubicación del fallo y una breve explicación basada en la evidencia.

Contribuciones Clave

• Marco de Trabajo de Dos Fases: Una arquitectura novedosa que separa la detección de anomalías sin etiquetas (vía DAE) de la clasificación interpretable (vía LLM), reduciendo la sobrecarga de tiempo de ejecución mientras se retiene un análisis detallado.
• Primera Aplicación a Datos HIL: Este es el primer estudio que aplica LLMs a conjuntos de datos de pruebas de conducción digital generados por simulaciones HIL en tiempo real, abordando específicamente fallos que se propagan a través de señales física y funcionalmente acopladas.
• Representación de Evidencia Estructurada: Un formato de entrada que distingue entre causas raíz directas y síntomas propagados, constriñendo al LLM a una salida estructurada para una justificación trazable.
• Evaluación Sistemática: Una evaluación exhaustiva de ocho LLMs de código abierto (que van desde 7B hasta 70B de parámetros) bajo condiciones zero-shot y few-shot, cuantificando el impacto de la escala del modelo, la representación de la entrada y la estrategia de prompting.

Resultados

• Detección de Fallos: El DAE logró un rendimiento robusto en diversas condiciones, con un F1-score promedio de 0.9724 entre trenes motrices y 0.9844 entre regímenes de conducción. El error de reconstrucción medio se mantuvo por debajo de 0.03, demostrando una alta capacidad de generalización.
• Rendimiento de Clasificación:
  • Zero-Shot: El rendimiento fue insuficiente para uso práctico, con el mejor modelo (Gemma 2 9B) logrando solo un F1-score de 0.519.
  • Few-Shot: El uso de ejemplos mejoró drásticamente los resultados. Bajo regímenes estables (autopista/urbano), el prompting few-shot logró una discriminación perfecta (F1 = 1.0) para varios modelos.
  • Escala del Modelo vs. Estrategia: Un hallazgo crítico es que la estrategia de prompting gobierna la calidad de la clasificación más que el número de parámetros. Un modelo de 9 mil millones de parámetros (Gemma 2 9B) con prompting few-shot superó a cada modelo zero-shot de tamaño medio y grande.
• Selección de Modelo: Mistral Small 24B fue seleccionado como el modelo principal del pipeline. Ofreció el mejor equilibrio entre precisión, fiabilidad de clase balanceada (MCC), calibración (bajo puntaje Brier/ECE) y costo de inferencia (aprox. 4.9s por ventana).
• Interpretabilidad: Las explicaciones generadas vincularon con éxito las predicciones con ubicaciones de fallos físicos específicos y evidencia de señales, permitiendo a los ingenieros verificar los diagnósticos con fundamentos técnicos.

Significancia y Reivindicaciones
El artículo afirma que este marco de trabajo proporciona una solución escalable e interpretable para la validación HIL automotriz que no requiere un ajuste fino (fine-tuning) específico para la tarea ni extensos conjuntos de datos etiquetados. Al desacoplar la detección de la clasificación y aprovechar el aprendizaje en contexto, el enfoque permite a los ingenieros adaptarse a nuevos conjuntos de fallos con un costo mínimo. El estudio enfatiza que, para aplicaciones críticas de seguridad, la capacidad de proporcionar explicaciones trazables y basadas en evidencia es tan vital como la precisión de la detección.

Limitaciones y Trabajo Futuro
Los autores señalan modestamente que la evaluación está actualmente limitada a datos de simulación HIL; el rendimiento en datos de pruebas de carretera en el mundo real aún debe ser verificado. La taxonomía está restringida a diez clases de fallos únicos, y el sistema depende de ejemplares few-shot seguros contra fugas, ya que el rendimiento zero-shot es significativamente menor. Además, el tiempo de inferencia de 3 a 7 segundos es actualmente más adecuado para el análisis offline que para el despliegue online en tiempo real. El trabajo futuro apunta a validar el marco en datos del mundo real, extenderlo a fallos simultáneos e interactuantes, y explorar técnicas como LoRA y destilación de modelos para mejorar la eficiencia.