기술 요약: 자연어 요구사항에 대한 LLM 기반 정적 코드 검증

문제 정의

기존 정적 분석 도구 (예: Coverity, SonarQube) 는 코딩 결함, 메모리 안전성 문제, 그리고 알려진 취약점 패턴을 탐지하는 데 효과적입니다. 그러나 구현된 코드가 자연어로 작성된 기능적 요구사항을 충족하는지 검증하는 능력은 부족합니다. 비즈니스 로직 결함, 예를 들어 덧셈을 구현해야 할 때 곱셈을 구현한 경우나 자연어 명세서와 구조적으로 모순되는 비밀번호 정책과 같은 결함을 탐지하는 데는 중요한 격차가 존재합니다. 이러한 결함들은 종종 인식 가능한 취약점 서명을 포함하지 않으며, 제한된 테스트 사례 커버리지, 테스트 오라클 정의의 어려움, 그리고 대규모 입력 공간의 복잡성으로 인해 동적 테스트를 통해 드러내기 어렵습니다. 과제는 컴파일, 실행, 또는 런타임 환경 없이 자연어 명세에 대한 코드를 검증하는 요구사항 인식 및 의미 인식 정적 분석을 수행하는 것입니다.

방법론

본 논문은 지능형 차량 사이버 보안 컨텍스트에서 명세서 의존적 검증 문제를 해결하기 위해 설계된 2 단계 LLM 기반 워크플로우를 제안합니다. 이 접근법은 긴 자연어 명세에 대해 단일 LLM 에게 직접 코드 검증을 요청하여 발생할 수 있는 할루시네이션, 출력 변동성, 그리고 컨텍스트 손실의 위험을 피합니다. 대신 구조화된 중간 표현을 도입합니다.

1 단계: AI 기반 규칙 마이닝 (ruleMiner)

첫 번째 에이전트인 ruleMiner는 자연어 요구사항을 문장 단위로 처리하여 검증 가능한 규칙 집합을 추출합니다.

• 추출 논리: 명시적인 "shall(해야 한다)" 문장과 문맥상 의무적인 "should(해야 함)" 문장과 같은 규범적이고 반증 가능한 논리만 유지합니다.
• 모호성 처리: 설명적, 허용적, 또는 주관적인 자료는 제외됩니다. "무작위(random)"나 "강력한(strong)"과 같은 용어는 측정 가능한 조건에 근거하지 않는 한 규칙으로 변환되지 않습니다.
• 결함 기록: 모호성, 자기 모순, 그리고 검증 불가능한 문장은 규칙으로 변환되지 않습니다. 대신 하류 검사를 오염시키는 것을 방지하기 위해 requirements_specs_issues 데이터 구조에 명시적으로 기록됩니다.
• 완전성 향상: 출력 변동성을 해결하기 위해 시스템은 **변형 관계 (metamorphic relation, MR1)**를 사용합니다. LLM 온도를 0 으로 설정하더라도 반복 실행 시 다른 출력이 발생할 수 있으므로, 1~3 회 실행에서 얻은 출력을 조정하고 병합하는 **풀링 전략 (pooling strategy)**을 사용하여 더 완전한 규칙 집합을 생성합니다.

2 단계: AI 기반 코드 감사 (codeAuditor)

두 번째 에이전트인 codeAuditor는 추출된 규칙 집합에 대해 소스 코드를 평가합니다.

• 의미 추론: 패턴 기반 스캐너와 달리 codeAuditor는 의미론적 내용에 대해 추론하여 허용/금지 값, 임계값, 고유성 조건, 그리고 작동 트리거와 같은 구체적인 검증 지점을 도출합니다.
• 증거 기반 검증: 이러한 지점을 소스 코드, 구성, 상수, 유효성 검사 로직, 그리고 파일 간 호출 관계와 비교하여 검증합니다.
• 엄격한 기준: 유추적 식별자나 주석의 존재만으로 규칙이 충족된 것으로 간주되지 않습니다. 반대로, 실제 활성화 경로나 도달 가능한 행동에 대한 증거가 없는 한 금지 사항이 위반된 것으로 플래그되지 않습니다.

산업 사례 연구 및 결과

이 방법론은 차량 내 WiFi 보안 하위 시스템을 다루는 공공 안전 산업 사례 연구에 적용되었습니다.

주요 관찰 사항

1. 요구사항 결함 탐지: 파이프라인은 모순된 요구사항을 성공적으로 식별했습니다. 예를 들어, 비밀번호 정책은 특정 문자 유형을 요구했으나 이러한 조건을 충족하지 못하는 예시 패턴을 제공했습니다. ruleMiner는 이를 잘못된 규칙 생성 대신 requirements_specs_issues 내의 모순된 내용으로 정확히 플래그했습니다. 이 결함은 1 년 이상 탐지되지 않은 채 남아 있었습니다.
2. 로직 불일치 탐지: 시스템은 "사용하지 않을 때" WiFi 핫스팟을 비활성화한다는 요구사항과 구현 사이의 불일치를 식별했습니다. 구현은 요구사항이 암시하는 광범위한 시스템 상태가 아닌 로컬 비활성 조건에 의존했습니다. 이는 단순한 코딩 버그가 아닌 정의되지 않은 트리거 상태라는 요구사항 결함을 드러냈습니다.
3. 정량적 발견:
   • 요구사항: 분석된 222 개 항목 중 75 개의 요구사항 이슈가 보고되었습니다. WiFi 보안 하위 집합에 대한 수동 검토는 추출된 잘못된 규칙이 없음을 확인했습니다.
   • 코드: 성숙한 WiFi 코드베이스 분석은 8 개의 "실패/알 수 없음" 결과를 생성했습니다. 수동 검토는 거짓 양성 (false positives) 이 없었음을 확인했습니다. 한 가지 고우선순위 코딩 이슈가 탐지되어 이후 개발팀에 의해 수정되었습니다.
   • 커버리지: 이 워크플로우는 이전에 소프트웨어 테스트를 통해서만 평가할 수 있었던 요구사항의 50% 이상을 검증했습니다.

주요 기여

1. 2 단계 검증 파이프라인: 요구사항 명확화와 코드 감사를 분리하고 중간 규칙 집합을 사용하여 LLM 실패 모드 (할루시네이션, 변동성) 를 줄이고 설명 가능성을 향상시키는 새로운 워크플로우.
2. 명시적 결함 처리: requirements_specs_issues 구조의 도입은 모호하거나 모순된 요구사항이 기계 검증 가능하지만 의미적으로 신뢰할 수 없는 규칙으로 조용히 정규화되는 대신 표면화되도록 보장합니다.
3. 변형 테스트 통합: 규칙 마이닝의 완전성과 일관성을 향상시키기 위해 변형 관계 (특히 여러 LLM 실행의 풀링) 를 적용합니다.
4. 비즈니스 로직 중심 정적 분석: 패턴 기반 탐지에서 의미 인식 추론으로의 전환으로, 기존 도구가 놓치는 트리거, 실행 경로, 그리고 강제 로직의 불일치를 식별할 수 있습니다.

중요성 및 주장

이 논문은 해당 접근법을 동적 테스트 및 기존 정적 분석을 대체하는 것이 아닌 보완적 전략으로 위치시킵니다. 그 주요 중요성은 다음과 같습니다:

• 시프트-레프트 검증: 컴파일, 실행, 또는 런타임 환경 없이 개발 수명주기 초기에 비즈니스 로직 결함을 탐지할 수 있게 함.
• 테스트 오라클 문제 해결: 기대되는 프로그램 출력에만 의존하는 대신 소스 코드 의미론과 구현 로직에 대해 추론함으로써 복잡한 비즈니스 로직에 대한 테스트 오라클 정의의 어려움을 완화하는 데 도움을 줌.
• 산업적 추적성: 요구사항과 코드 간의 고품질 추적성 (예: 머지 요청 기록) 에 대한 중요한 의존성을 강조하며, 조직적 추적성의 격차는 발견 사항의 명확한 해석을 제한할 수 있음을 지적함.

저자들은 정량적 결과가 초기적이며 벤치마크 주장이 아님을 지적하며 겸손한 어조를 유지합니다. 그들은 수동 작업이 필요했기 때문에 규칙 마이닝의 재현율과 완전성이 포괄적으로 평가되지 않았음을 인정합니다. 그러나 경험은 요구사항 명확화, 추적성 인식, 그리고 LLM 기반 정적 분석을 통합하는 것이 산업적 보증에 대한 유망한 방향임을 시사합니다.