Automated Semantic Fault Localization in SysML v2: A Human-in-the-Loop Framework Using Knowledge-Graph Augmented LLMs

기술 요약: SysML v2에서의 자동화된 의미론적 결함 국지화(Automated Semantic Fault Localization)

문제 정의
SysML v2를 사용하는 모델 기반 시스템 엔지니어링(MBSE)은 구문 규칙에 대한 형식적 검증은 제공하지만, 의미론적 결함(semantic faults)을 탐지하는 데는 어려움을 겪고 있습니다. 이러한 결함은 모델이 구문적으로 유효하고 컴파일러 검사를 통과하지만, 물리적 호환성이 없는 연결(예: 유체 인터페이스를 전기 포트에 연결)이나 차원 불일치와 같은 도메인 특화 엔지니어링 제약 조건을 위반하는 오류를 의미합니다. SysML v2에 적용된 기존의 대규모 언어 모델(LLM)은 고품질 훈련 데이터의 부족, 구문이나 존재하지 않는 구조를 환각(hallucination)하는 경향, 그리고 명시적인 도메인 컨텍스트 없이 대규모 시스템을 추론하는 능력의 한계라는 상당한 장애물에 직면해 있습니다. 또한, 기존의 접근 방식은 자율적인 생성을 의존하는 경우가 많아, 안전 필수 시스템(safety-critical systems)에 필요한 엔지니어링 감독이 부족합니다.

방법론
저자들은 LLM의 역할을 자율적인 모델 생성에서 자동화된 결함 국지화 및 복구 제안으로 전환하는 인간 참여형(human-in-the-loop) 프레임워크를 제안합니다. 이 방법론은 네 가지 주요 구성 요소로 이루어집니다:

1. 도메인 지식 그래프 (Knowledge Graph, KG): 차량 시스템 도메인에 대한 물리적 호환성 규칙과 엔지니어링 제약 조건을 인코딩하기 위해 KG를 구축했습니다. 이 그래프는 시스템 인터페이스를 물리적 도메인(예: 기계, 전기, 유체)에 매핑하고, 국제 단위계(ISQ) 유형을 유효한 단위에 매핑합니다. KG는 두 가지 기능을 수행합니다. 하나는 유효한 변이 규칙을 정의함으로써 합성 훈련 데이터 생성을 가이드하는 것이고, 다른 하나는 복구 제안을 명시적인 엔지니어링 제약 조건에 근거하도록 추론 프롬프트를 보강하는 것입니다.

2. 합성 데이터셋 구축: 데이터 부족 문제를 해결하기 위해, 저자들은 256개의 유효한 SysML v2 모델로 구성된 기본 코퍼스로부터 시작하여 8,301개의 항목을 합성했습니다.

   • 구문 결함(Syntax Faults): 변이 엔진(mutation engine)이 12개의 휴리스틱 연산자(예: import 문 파괴, 괄호 불균형)를 적용하여 5,497개의 구문적으로 유효하지 않은 샘플을 생성했습니다.
   • 의미론적 결함(Semantic Faults): KG를 사용하여 엔진은 5가지 의미론적 변이 휴리스틱(예: 포트 불일치, 단위 교체)을 적용하여 구문적으로는 유효하지만 의미론적으로는 잘못된 1,402개의 샘플을 생성했습니다.
   • 정상 예시(Correct Examples): 모델이 올바른 코드와 결함이 있는 코드를 구분할 수 있도록 1,402개의 유효한 샘플을 포함했습니다.
     데이터셋은 훈련(70%), 검증(15%), 테스트(15%) 세트로 분할되었으며, 소스 모델과 변이된 샘플 간의 데이터 누수(data leakage)가 없도록 보장했습니다.

3. 패치 기반 출력(Patch-Based Output): 전체 코드를 다시 작성하는 대신, 모델이 통합 diff 패치를 출력하도록 미세 조정되었습니다. 이 형식은 컨텍스트와 함께 추가 및 제거된 라인을 지정함으로써 토큰 길이를 줄이고 인간의 검토를 용이하게 합니다.

4. 지도 미세 조정(Supervised Fine-Tuning, SFT): 두 개의 소형 언어 모델(SLM)—Qwen-2.5 Coder 1.5B 및 DeepSeek Coder 6.7B—를 저계수 적응(LoRA)을 사용하여 미세 조정했습니다. 이 모델들은 입력 코드와 KG로부터 추출된 관련 도메인 규칙을 조건으로 하여, 상태 표시기(정상/오류)와 그 뒤의 복구 패치를 예측하도록 훈련되었습니다.

주요 기여

• 데이터셋 및 합성 방법론: SysML v2 훈련 데이터의 희소성을 극복하기 위해 KG 기반 변이 엔진을 통해 합성된, 구문 및 의미론적 결함이 포함된 레이블링된 데이터셋을 생성했습니다.
• 도메인 인지 파이프라인: 데이터 생성과 추론 시 프롬프트 보강을 모두 가이드하기 위해 지식 그래프를 통합한 결함 국지화 파이프라인을 구축하여, 잠재적인 의미론적 위반을 탐지할 수 있게 했습니다.
• SLM 평가: 미세 조정된 SLM이 SysML v2에서 구문 및 의미론적 오류를 효과적으로 식별하고 복구하며, 결과를 unified diff 패치 형태로 출력할 수 있음을 입증하는 경험적 평가를 수행했습니다.

결과
보류된(held-out) 테스트 세트 1,184개 샘플에 대한 평가 결과는 다음과 같습니다:

• 성능 향상: 미세 조정은 의미론적 결함 복구 정확도를 극적으로 향 개선했습니다. 베이스라인 사전 훈련 모델은 의미론적 오류에 대해 3% 미만의 정확도(0.62%2.47%)를 보였으나, 미세 조정된 모델은 91% 이상의 정확도(91.4%95.7%)를 달랐습니다.
• 구문 vs. 의미론: 미세 조정은 구문 복구 성능도 크게 향상시켰으며, pass@1 점수가 베이스라인(17–36%)에서 미세 조정 모델(89–98%)로 상승했습니다.
• 효율성: 패치를 출력하도록 미세 조정된 모델은 전체 코드를 재작성하는 모델보다 평균 토큰 길이를 약 50% 줄였으며, 베이스라인 모델 대비 최대 75%까지 줄였습니다.
• 도메인 규칙의 영향: 프롬프트에 도메인 규칙을 제공하는 것은 베이스라인 모델에 미미한 이득을 주었지만, 미세 조정과 KG 증강 프롬프트의 결합은 높은 의미론적 복구 성능을 위해 필수적이었습니다.

의의 및 주장
본 논문은 이 프레임워크가 기존 MBSE 도구를 보완하는 AI 지원 검증을 위한 실질적인 경로를 제공한다고 주장합니다. LLM을 자율적인 에이전트가 아닌 도메인 인지 어시스턴트로 배치함으로써, 설계 과정에서 인간의 판단을 보존하는 동시에 물리적 도메인까지 검증 능력을 확장합니다. 저자들은 휴리스틱 기반의 데이터 증강 방법론이 훈련 데이터 부족 문제에 대한 실행 가능한 솔루션을 제공하며, 이를 통해 소형 언어 모델이 표준 컴파일러가 놓치는 도메인 수준의 오류를 탐지할 수 있게 한다고 단언합니다. 이 연구는 일반 목적의 모델은 유효한 구문과 엔지니어링 제약 조건에 대한 노출이 부족하므로, SysML v2에 적용하기 위해서는 명시적이고 잘 구조화된 도메인 지식이 필수적임을 강조합니다.