기술 요약: TVR – 검색 증강 생성(RAG)을 통한 추적성 검증 및 복구

1. 문제 정의

자동차 소프트웨어 개발에서 이해관계자 요구사항(상위 수준의 니즈)과 시스템 요구사항(상세 명세) 사이의 정확한 추적성을 유지하는 것은 일관성, 정확성 및 규제 준수(예: ASPICE, ISO 26262)를 보장하기 위해 매우 중요합니다. 그러나 수동 추적 프로세스는 다음과 같은 오류를 초래하기 쉽습니다:

• 변경 사항의 부적절한 전파: 이해관계자 요구사항의 업데이트가 시스템 요구사항에 반영되지 않아, 오래되거나 유효하지 않은 링크가 생성됩니다.
• 인적 매핑 오류: 수동 검증의 노동 집약적인 특성으로 인해 잘못된 매핑이나 누락된 링크가 발생합니다.
• 언어적 및 구조적 변이: 요구사항은 다양한 용어, 추상화 수준, 템플릿(예: "통신실실(Lost Communication)" vs "부적절한 데이터(Implausible Data)" 진단 코드 또는 DTC)으로 표현됩니다. 전통적인 유사도 기반 접근 방식(예: TF-IDF, SentenceBERT)과 표준 대규모 언어 모델(LLM) 프롬프팅(Zero-Shot, Chain-of-Thought)은 이러한 이질적인 변이를 일반화하는 데 어려움을 겪으며, 메시지 및 시그널 정의의 미세한 의미 차이를 구분하는 데 종종 실패합니다.

해결하고자 하는 구체적인 과제는 기존 추적성 링크의 **검증(Validation)**과 DTC 이해관계자 및 시스템 요구사항 간의 누락된 링크 **복구(Recovery)**입니다. 여기서 하나의 시스템 요구사항이 여러 이해관계자 요구사항을 포함할 수 있으며, 텍스트 유사성만으로는 검증하기에 불충분합니다.

2. 방법론: TVR 접근 방식

저자들은 **RAG(Retrieval-Augmented Generation)**를 활용하고 **인컨텍스트 러닝(In-Context Learning)**으로 강화된 TVR(Traceability Validation and Recovery) 프레임을 제안합니다. 외부 도메인 지식을 보강하기 위해 외부 문서를 검색하는 일반적인 RAG 시스템과 달리, TVR은 추론 예시로 사용하기 위해 기존에 레이블링된 요구사항 쌍을 검색합니다.

핵심 구성 요소

1. 리트리버(Retriever):

   • 입력: 테스트 쌍 $\langle \text{stakeReq}, \text{sysReq} \rangle$.
   • 메커니즘: 결합된 요구사항 쌍에 대해 Amazon Titan 모델을 사용하여 임베딩을 생성합니다(산업 파트너의 제약 조건으로 인해 선택됨).
   • 선택: 훈련 데이터베이스($D_{train}$)에서 가장 유사한 유효한(positive) 예시 $k$개와 가장 유사한 유효하지 않은(negative) 예시 $k$개를 검색합니다.
   • 유사도: FAISS 라이브러리를 통해 코사인 유사도(최적값 $k=3$)를 사용합니다.

2. 제너레이터(Generator):

   • 모델: 주로 Claude 3.5 Sonnet을 사용하여 평가되었으나, 총 13개의 LLM을 테스트했습니다.
   • 프롬프팅 전략: 제너레이터는 다음을 포함하는 프롬프트를 받습니다:
     • 지침(Instruction): 시스템 요구사항이 이해관계자 요구사항의 특정 메시지나 시그널을 포함하는지 확인하라는 구체적인 작업(일반적인 추적성에서 특정 시그널 커버리지로 범위를 좁힘).
     • 컨텍스트(Context): 추론을 가이드하기 위한 $k \times 2$개의 검색된 예시(유효 및 유효하지 않은 예시).
     • 입력(Input): 평가할 테스트 쌍.
     • 출력 지표(Output Indicator): 이진 "Yes" 또는 "No" 응답.
   • 목표: LLM은 외부 지식 검색에 의존하는 대신, 추적성 정확도에 대한 결정 패턴을 학습하기 위한 "데몬스트레이션(demonstrations)"으로 검색된 예시를 사용합니다.

3. 추적성 복구 (전처리):
   모든 가능한 조합(Cartesian product)을 탐색하지 않고 누락된 링크를 복구하기 위해, TVR은 3단계 필터링 전략을 사용합니다:

   • 변이 매칭(Variation Matching): DTC 유형에 따라 요구사항을 쌍으로 묶음 (예: "Lost Communication"은 "Lost Communication"과만 연결됨).
   • 조건 매칭(Condition Matching): 조건 유형(Mature vs Demature)에 따라 요구사항을 쌍으로 묶음.
   • 메시지 중첩 매칭(Message Overlap Matching): 적어도 하나의 공통 메시지 또는 시그널 토큰을 공유하지 않는 쌍을 필터링함.
   • 필터링된 후보들은 이후 TVR에 의해 누락된 유효한 링크를 식별하기 위해 검증됩니다.

3. 주요 기여

• TVR 프레임워크: 외부 지식 검색 대신 인컨텍스트 예시를 활용하여 자동차 시스템의 추적성 링크를 검증하고 복구하도록 설계된 새로운 RAG 기반 접근 방식입니다.
• 변이에 대한 견고성: LLM의 의미론적 이해를 대표적인 예시로 강화함으로써, 보지 못한 요구사항 변이(다른 템플릿 및 용어)를 처리할 수 있는 능력을 입증했습니다.
• 포괄적인 평가: 13개의 LLM(Claude, Llama, Mistral, Titan 제품군 포함)과 4가지 프롬프팅 전략(Zero-Shot, CoT, Few-Shot, Self-Consistency)을 사용하여 TVR을 최신 베이스라인(LiSSA, TF-IDF, SentenceBERT)과 비교하는 엄격한 평가를 수행했습니다.
• 산업적 검증: 시스템 엔지니어의 구조화된 주석을 통해 그라운드 트루스(Ground Truth)가 확립된 자동차 파트너의 실제 산업 데이터셋인 2,132개의 DTC 요구사항 쌍을 대상으로 평가되었습니다.

4. 실험 결과

연구는 1,320개의 이해관계자 요구사항과 48개의 시스템 요구사항이 연결된 데이터셋(2,132개 링크)을 대상으로 진행되었습니다.

• 추적성 검증:

  • 정확도(Accuracy): TVR(RAG를 사용하는 Claude 3.5 Sonnet)은 **98.87%**의 정확도를 달성했습니다.
  • Macro-F1: **96.72%**를 달성하여, 가장 우수한 베이스라인(LiSSA-CoT 52.89%, SentenceBERT 57.82%)을 크게 앞질렀습니다.
  • 비교: 동일한 모델에 대해 Zero-Shot 프롬프팅을 적용했을 때 정확도는 79.55%에 그쳤으며, 이는 RAG/In-Context 방식의 필요성을 강조합니다.
  • 견고성: 보지 못한 요구사항 변이에 대해 테스트했을 때(4가지 변이 카테고리에 대한 교차 검증), TVR은 **97.13%**의 정확도와 **90.86%**의 Macro-F1을 유지했습니다.

• 추적성 복구:

  • 3단계 전처리를 통해 후보 풀을 약 3만 개에서 1,919개로 줄인 후, TVR은 502개의 잠재적 누락 링크를 식별했습니다.
  • 정확성: 인간 검증 결과, 복구된 링크의 **85.50%**가 올바른 것으로 확인되었습니다.

• 오류 분석:

  • 오류는 주로 LLM이 대상 입력 메시지보다 트리거 조건에 집중하거나, 특정 시그널을 넘어선 구성 요소(예: 검증 규칙)를 고려할 때 발생했습니다.
  • TVR과 검색 기반 베이스라인(SentenceBERT)은 **직교하는 오류 패턴(orthogonal error patterns)**을 보였으며, 이는 하이브리드 접근 방식의 가능성을 시사합니다.

5. 의의 및 주장

본 논문은 TVR이 추적성 관리가 필수적이지만 수동 유지가 어려운 산업 환경에서 실용적이고 높은 정확도의 솔루션을 제공한다고 주장합니다.

• 효율성: 추적성 검증에 필요한 수동 노력을 크게 줄여, 산업 파트너가 보고한 시간 및 비용 제약 문제를 해결합니다.
• 신뢰성: 높은 정확도(98.87%)와 보지 못한 변이에 대한 견고성을 통해 복잡하고 진화하는 자동차 시스템에 배포하기에 적합함을 보여줍니다.
• 해석 가능성: 본 프레임워크는 설명 가능성을 지원합니다. 설정에 따라 LLM은 단계별 추론(예: 특정 메시지를 식별하고 시스템 요구사항 내 존재 여부 확인)을 제공할 수 있어, 엔지니어가 자동화된 결정을 검증하는 데 도움을 줍니다.
• 한와 및 향후 연구: 저자들은 이 접근 방식이 검색 데이터베이스의 품질에 의존하며, 모델이 가끔 "메시지만"에 집중하는 데 실패하여 거짓 양성(False Positive)이 발생할 수 있음을 인정합니다. 향서 연구로는 검색 기반 유사도와 LLM 추론의 하이브리드화, 그리고 트리거 조건을 제외하도록 전처리를 정교화하는 것을 제안합니다.

저자들은 현재 TVR이 자동차 DTC 요구사항에 특화되어 있지만, 고수준에서 저수준 요구사항으로의 추적성을 필요로 하는 다른 도메인에도 적용 가능한 기본 원칙을 가지고 있다고 결론짓습니다.