Fault Detection and Explainable Classification in Automotive HIL Validation via Denoising Autoencoders and In-Context Large Language Models

기술 요약: 자동차 HIL 검증을 위한 결함 탐지 및 설명 가능한 분류

문제 정의
현대적인 자동차 소프트웨어 시스템(ASS)의 검증 과정에서는 하드웨어 인 더 루프(HIL) 시뮬레이션으로부터 생성된 방대한 양의 다변량 테스트 기록이 발생한다. 현재의 검증 워크플로우는 노동 집약적인 수동 검토와 규칙 기반 평가에 크게 의존하고 있으며, 이는 사전 정의된 규칙이나 과거 데이터의 범위를 벗어나는 결함을 탐지하는 데 어려움을 겪는다. 머신러닝(ML)과 딥러닝(DL)이 결함 진단 분야를 발전시켜 왔으나, 지도 학습 모델은 대규모의 레이블된 데이터셋을 필요로 하고, 보지 못한 조건에 대한 일반화 능력이 떨어지며, 해석 가능성이 부족하다. 반대로 비지도 학습 방식은 특정 결함 유형을 분류하거나 근본 원인에 대한 설명을 제공하는 추론 능력이 부족한 경우가 많다. 따라서 결함 레이블 없이 이상치를 탐지하는 동시에, 다양한 파워트레인 및 주행 환경 전반에 걸쳐 높은 일반화 성능을 갖춘 결함을 분류하고, 엔지니어를 위한 해석 가능한 진단 보고서를 제공할 수 있는 프레임워크의 부재는 중요한 격차로 남아 있다.

방법론
저자들은 노이즈 제거 오토인코더(DAE)와 동결된 대규모 언어 모델(LLM)을 활용하여 결함 탐지와 결함 분류를 분리하는 일반화 가능한 2단계 프레임워크를 제안한다.

1. 1단계: 레이블이 없는 결함 탐지 (DAE)

   • DAE는 정상 신호 데이터만을 사용하여 학습된다. 학습 과정에서 가우시안 노이즈를 추가함으로써, 모델은 정상 동작의 내재적 구조를 재구성하는 법을 배운다.
   • 검증 단계에서는 재구성 오차(reconstruction error)를 분석한다. 오차가 사전 정의된 임계값을 초과하는 윈도우(window)가 이상치로 식별된다. 이 접근 방식은 탐지 단계에서 결함 레이블의 필요성을 제거한다.
   • DAE는 두 가지 서로 다른 파워트레인(가솔린 엔진 및 전기차) 데이터로 학습되며, 세 가지 주행 환경(도심, 비도심, 고속도로)에서 검증된다.

2. 2단계: 설명 가능한 분류 (동결된 LLM)

   • 이상 윈도우는 가공되지 않은 원시 시계열 데이터 형태로 직접 입력되지 않는다. 대신, 이를 압축되고 구조화된 텍스트 증거로 변환한다. 이 증거에는 시간 정렬된 정상 참조 데이터 대비 통계적 기술자(예: z-score, 중앙값, 최대 편차)가 포함된다.
   • 결정적으로, 증거 표현 방식은 **직접적인 근본 신호 편차(direct root-signal deviations)**와 **전파된 효과(propagated effects)**를 구분하여 근본 원인 추론을 유도한다.
   • 동결된 LLM(파라미터 업데이트 없음)은 **인컨텍스트 러닝(in-context learning)**을 통해 결함을 분류한다. 시스템은 제로샷(zero-shot)(지시문만 사용) 및 퓨샷(few-shot)(지시문 + 누설 방지된 시간 영역의 레이블된 예시 사용) 프롬프팅 전략을 모두 채택한다.
   • 모델은 예측 클래스, 순위가 매겨진 대안, 신뢰도 값, 결함 위치 및 짧은 증거 기반 설명을 포함하는 제한된 JSON 객체를 출력한다.

주요 기여

• 2단계 프레임워크: 결함 탐지(DAE를 통한 레이블 없는 이상 탐지)와 해석 가능한 분류(동결된 LLM을 통한 분류)를 분리하여 실행 오버헤드를 줄이면서도 상세한 분석 능력을 유지하는 새로운 아키텍처를 제시한다.
• HIL 데이터에 대한 최초 적용: 실시간 HIL 시뮬레이션에서 생성된 디지털 테스트 드라이브 데이터셋에 LLM을 적용한 첫 번째 연구이며, 특히 물리적 및 기능적으로 결합된 신호를 통해 전파되는 결함을 다룬다.
• 구조화된 증거 표현: 직접적인 근본 원인과 전파된 증상을 구분하는 입력 형식을 통해, LLM이 추적 가능한 정당성을 갖도록 구조화된 출력을 강제한다.
• 체계적인 평가: 제로샷 및 퓨샷 조건 하에서 8개의 오픈 소스 LLM(7B에서 70B 파라미터 범위)을 체계적으로 평가하여, 모델 규모, 입력 표현 및 프롬프팅 전략의 영향을 정량화하였다.

결과

• 결함 탐지: DAE는 다양한 조건에서 견고한 성능을 달연하였으며, 파워트레인 전반에서 평균 F1-스코어 0.9724, 주행 환경 전반에서 0.9844를 기록했다. 평균 재구성 오차는 0.03 미만으로 유지되어 높은 일반화 능력을 입증했다.
• 분류 성능:
  • 제로샷: 실무에 적용하기에는 성능이 불충분했으며, 최적의 모델인 Gemma 2 9B는 0.519의 F1-스코어만을 달성했다.
  • 퓨샷: 예시를 활용한 프롬프팅은 결과를 극적으로 향상시켰다. 안정적인 주행 환경(고속도로/도심)에서 퓨샷 프롬프팅은 여러 모델에서 완벽한 식별 능력(F1 = 1.0)을 보여주었다.
  • 모델 규모 vs. 전략: 핵심적인 발견은 프롬프팅 전략이 파라미터 수보다 분류 품질을 더 크게 좌우한다는 점이다. 90억 개의 파라미터를 가진 모델(Gemma 2 9B)이 퓨샷 프롬프팅을 사용할 때, 모든 제로샷 중형 및 대형 모델보다 우수한 성능을 보였다.
• 모델 선택: Mistral Small 24B가 주요 파이프라인 모델로 선정되었다. 이 모델은 정확도, 클래스 균형 신뢰도(MCC), 캘리브레이션(낮은 Brier score/ECE) 및 추론 비용(윈도우당 약 4.9초) 사이에서 최적의 균형을 제공했다.
• 해석 가능성: 생성된 설명은 예측을 특정 물리적 결함 위치 및 신호 증거와 성공적으로 연결하여, 엔지니어가 기술적 근거를 바탕으로 진단을 검증할 수 있도록 하였다.

의의 및 주장
본 논문은 이 프레임워크가 작업별 미세 조정(fine-tuning)이나 광범위한 레이블 데이터셋 없이도 자동차 HIL 검증을 위한 확장 가능하고 해석 가능한 솔루션을 제공한다고 주장한다. 탐지와 분류를 분리하고 인컨텍스트 러닝을 활용함으로써, 엔지니어는 최소한의 비용으로 새로운 결함 세트에 적응할 수 있다. 본 연구는 안전 필수 애플리케이션에서 탐지 정확도만큼이나 추적 가능한 증거 기반의 설명을 제공하는 능력이 중요하다는 점을 강조한다.

한계점 및 향후 과제
저자들은 현재 평가가 HIL 시뮬레이션 데이터에 국한되어 있어, 실제 도로 주행 데이터에서의 성능 검증이 필요함을 인정하였다. 또한, 분류 체계는 10개의 단일 결함 클래스로 제한되어 있으며, 제로샷 성능이 현저히 낮기 때문에 시스템이 누설 방지된 퓨샷 예시들에 의존한다는 한계가 있다. 아울러 3~7초의 추론 시간은 현재 실시간 온라인 배포보다는 오프라인 분석에 더 적합하다. 향후 과제로는 실제 도로 데이터에서의 프레임워크 검증, 동시 발생 및 상호작용하는 결함으로의 확장, 그리고 효율성 개선을 위한 LoRA 및 모델 증류(distillation) 기법 탐구가 포함된다.