Grammar-Constrained Refinement of Safety Operational Rules Using Language in the Loop: What Could Go Wrong

[기술 요약] 문법 제약 기반의 언어 루프 활용 안전 운영 규칙 정제 연구

1. 문제 정의 (Problem Statement)

사이버 물리 시스템(CPS), 특히 자율 주행 시스템에서 **안전 운영 규칙(Safety Operational Rules)**은 시스템이 안전하게 작동하기 위한 조건을 정의합니다. 그러나 운영 환경이 변화함에 따라 기존의 규칙이 실제 관찰된 시스템 동작(Simulation-based verification)과 일치하지 않는 불일치(Inconsistency) 문제가 발생합니다.

기존의 규칙 수정 방식은 다음과 같은 한계가 있습니다:

• 구문적 제약의 어려움: 규칙을 수정할 때 도메인 특화 문법(Domain-specific grammar)을 엄격히 준수해야 합니다.
• 의미론적 정당성 부족: 대규모 언어 모델(LLM)을 사용할 경우, 문법은 맞더라도 관찰된 결과에 과적합(Overfitting)되어 안전 범위를 부당하게 좁히거나 넓히는 등 의미론적으로 잘못된 규칙을 생성할 위험이 있습니다.

2. 연구 방법론 (Methodology)

본 논문은 **반사실적 추론(Counterfactual Reasoning)**과 **문법 제약 LLM(Grammar-constrained LLM)**을 결합한 규칙 정제 프레임워크를 제안합니다.

주요 단계:

1. 반사실적 분석 (Counterfactual Analysis): 불일치가 발생하는 입력값($x$)에 대해, 아주 미세한 변화($\Delta$)를 주어 규칙의 판정(Verdict)이 뒤집히는 지점($x'$)을 찾습니다. 이를 통해 규칙의 결정 경계(Decision Boundary)를 국소화하여 LLM에 증거로 제공합니다.
2. 문법 제약 규칙 정제 루프 (Rule Refinement Loop):
   • LLM 합성: LLM에게 도메인 특화 문법($G$), 기존 규칙, 그리고 반사실적 증거를 프롬프트로 제공하여 최소한의 변경(임계값 조정, 연산자 교체 등)을 통한 정제된 규칙($r'$)을 생성하도록 합니다.
   • 제약 조건 검증: 생성된 규칙이 (i) 문법을 준수하는지, (ii) 기존의 일관된 규칙과 모순되지 않는지, (iii) 타겟 불일치를 해결하는지 확인합니다.
   • 의미론적 검증 (Semantic Validation): 최종 후보 규칙을 시뮬레이션 데이터셋에 적용하여 새로운 불일치를 유발하지 않는지 검증합니다.

3. 주요 기여 (Key Contributions)

• 새로운 프레임워크 제안: 반사실적 증거를 활용하여 LLM이 논리적이고 해석 가능한 규칙 수정을 수행하도록 유도하는 통합 프레임워크를 설계했습니다.
• 문법 제약의 통합: LLM의 생성 능력을 활용하면서도, 도메인 특화 문법을 강제하여 시스템에 즉시 적용 가능한 형태의 규칙을 도출합니다.
• LLM 안전성 분석: 다양한 LLM 모델(GPT, Claude, Gemini, DeepSeek 등)을 비교하여, 언어 루프 방식에서 발생할 수 있는 안전 관련 위험 요소(과적합, 문법 위반 등)를 체계적으로 분석했습니다.

4. 실험 결과 (Results)

자율 주행 제어 시스템(ADS)을 대상으로 한 실험 결과는 다음과 같습니다:

• 결정성 향상 (Decisiveness Gain): 기존의 유전 알고리즘(Genetic Programming) 기반 베이스라인 대비, 제안된 방식은 모든 LLM 변체에서 불일치 사례를 0으로 줄이며 결정성을 $0.86 \rightarrow 1.0$으로 향상시켰습니다.
• 모델별 성능 차이:
  • GPT-5 (Thinking mode): 문법 준수, 의미론적 타당성, 최소 변경(Minimality) 측면에서 가장 균형 잡힌 성능을 보였습니다.
  • 위험 요소 발견: 일부 모델(Claude, Gemini Pro 등)은 문법은 지켰으나 규칙을 지나치게 보수적으로 수정하여(Over-constrained) 운영 설계 영역(ODD)을 벗어나는 등 의미론적 정당성 결여 문제를 보였습니다.

5. 연구의 의의 및 시사점 (Significance & Lessons Learned)

본 연구는 LLM을 안전 필수 시스템(Safety-critical systems)의 규칙 정제에 도입할 때의 가능성과 위험을 동시에 보여줍니다.

• 의의: 수동적인 규칙 검토를 자동화하고, 반사실적 추론을 통해 LLM이 "왜" 규칙을 수정해야 하는지에 대한 논리적 근거를 제공할 수 있음을 증명했습니다.
• 교훈 (What could go wrong):
  1. 모델 의존성: 동일한 프롬프트라도 모델마다 문법 위반이나 구조적 오류를 범할 수 있습니다.
  2. 과도한 보수성: LLM은 안전을 위해 경계를 지나치게 좁히는 경향이 있으며, 이는 데이터에 대한 과적합으로 이어질 수 있습니다.
  3. 해석 가능성과의 상관관계: 규칙을 크게 수정할수록 설명(Explanation)은 상세해지지만, 이는 동시에 규칙의 본질이 변할 위험을 내포합니다.

결론적으로, 본 논문은 LLM 기반의 규칙 정제가 효과적이지만, 안전을 보장하기 위해서는 **강력한 문법 파서(Parser)**와 시뮬레이션 기반의 엄격한 의미론적 검증이 반드시 병행되어야 함을 강조합니다.