기술 요약: REASONSTL

문제 정의

시그널 시간 논리 (STL) 는 사이버 - 물리 시스템 (CPS) 과 자율 시스템에서 실수 값 시그널에 대한 시공간 요구사항을 명세하는 데 필수적인 형식 언어입니다. STL 은 엄격한 검증과 합성을 가능하게 하지만, 실무자들은 일반적으로 자연어 (NL) 로 요구사항을 표현합니다. 이러한 자연어 설명을 실행 가능한 STL 수식으로 변환하는 작업이 주요 병목 현상입니다.

기존 접근 방식은 다음과 같은 중대한 한계에 직면해 있습니다:

• 수동 명세: 전문가 지식을 요구하며, 노동 집약적이고 확장성이 부족합니다.
• 상용 LLM API: 능력은 뛰어나지만 높은 토큰 비용을 발생시키며, 민감한 시스템 요구사항을 제 3 자에게 전송함으로써 프라이버시 문제를 야기합니다.
• 이전 자동화 방법:
  • DeepSTL은 처음부터 훈련된 신경 기계 번역에 의존하여 일반화 능력을 제한합니다.
  • KGST는 독점 API 를 포함하는 하이브리드 파이프라인을 사용하여 프라이버시 및 비용 문제를 초래합니다.
  • RESTL은 로컬에서 작동하지만 중간 추론 없이 수식을 직접 생성하여 해석 가능성과 정확성을 훼손합니다.
• 기술적 과제: NL-to-STL 변환은 문법적 유효성뿐만 아니라 의미적 기반, 계산 인식 추론 (예: 단위 변환, 산술 연산), 그리고 정밀한 시간 간격 및 도메인 특화 시그널 처리를 요구합니다. 임계값이나 연산자의 작은 오류는 잘못된 의미론으로 이어질 수 있습니다.

방법론: REASONSTL

저자들은 계산 인식 NL-to-STL 생성을 위해 설계된 로컬 도구 증강 프레임워크인 REASONSTL을 제안합니다. 핵심 철학은 단일 단계 시퀀스 예측에 의존하기보다, 변환 과정을 명시적 추론, 결정적 도구 호출, 구조화된 수식 구성으로 분해하는 것입니다.

1. 도구 증강 생성

모델이 원시 텍스트를 생성하는 대신, 추론 세그먼트, 도구 호출, 도구 출력을 포함하는 구조화된 롤아웃을 생성하여 최종적으로 구조화된 STL JSON 트리로 완성합니다.

• 도구 세트: 프레임워크는 컴팩트하고 타입이 지정된 결정적 도구 세트를 활용합니다:
  • parse_duration: 시간 표현을 정규화합니다 (예: "30 분" $\to$ 1800).
  • convert_unit: 물리 단위를 변환합니다 (예: ft $\to$ m).
  • eval_math_expr: 임계값에 대한 산술 식을 평가합니다.
  • calc_time_diff: 타임스탬프에서 시간 차이를 계산합니다.
• 분리: 이 설계는 언어적 해석과 구조적 추론을 정확한 수치 계산과 분리하여 과정을 검사 가능하고 검증 가능하게 만듭니다.

2. 결과 경계 과정 보상 최적화

REASONSTL 은 중간 도구 사용 궤적과 최종 수식 구성을 모두 감독하는 새로운 훈련 전략을 도입합니다.

• 과정 보상: 중간 단계 (도구 호출, 추론) 는 국소적 정확성 (인수의 유효성, 실행 가능성, 일관성) 을 기반으로 보상을 부여받습니다.
• 결과 경계 설정: 핵심적으로, 중간 보상은 최종 STL 수식의 정확성에 의해 상한이 설정됩니다. 최종 수식이 잘못되면 중간 단계의 달성 가능한 최대 보상이 감소합니다. 이는 잘못된 최종 결과로 이어지는 "설득력 있지만 의미론적으로 유효하지 않은" 추론 궤적이 강화되는 것을 방지합니다.
• 접두사 마스킹: 중간 단계가 실패하면 이후 의존적인 단계는 역방향 업데이트에서 마스킹되어, 모델이 오류를 조기에 중단하거나 수정하도록 학습합니다.
• 최적화: 프레임워크는 이러한 경계 보상을 기반으로 모델을 최적화하기 위해 그룹 상대 정책 목적 함수 (확률비 클리핑이 없는 PPO 와 유사) 를 사용합니다.

3. STL-BENCH: 새로운 벤치마크

계산 인식 NL-to-STL 생성을 평가하기 위해 저자들은 실제 CPS 시그널에 기반한 양국어 (영어/중국어) 벤치마크인 STL-BENCH를 소개합니다.

• 특징: 6 개 공학 도메인, 33 개 시나리오, 41 개 도메인 기반 시그널 변수를 포괄합니다.
• 복잡성: 샘플의 73% 가 중간 계산 (도구 사용) 을 요구합니다. 도구 사용 궤적, 시간 정규화, 단위 변환에 대한 명시적 주석이 포함되어 있습니다.
• 구조: STL 수식은 스키마 유효성 검사와 재귀적 구조 매칭을 가능하게 하기 위해 JSON 트리로 표현되며, 단순 문자열 매칭을 넘어섭니다.
• 검증: 고품질 라벨을 보장하기 위해 템플릿 기반 생성, 규칙 기반 검증, 계층적 인간 감사를 통해 데이터셋이 구축되었습니다.

주요 기여

1. 로컬 도구 증강 프레임워크: REASONSTL 은 다단계 추론과 결정적 도구 호출을 통해 NL 을 STL 로 변환하는 로컬 오픈소스 프레임워크로, 시간 정규화, 단위 변환, 산술 평가를 명시적으로 처리합니다.
2. 결과 경계 과정 감독: 중간 도구 사용 궤적과 최종 수식 구성을 공동으로 감독하는 훈련 전략으로, 최종 정확성으로 중간 보상을 경계함으로써 유효하지 않은 추론 경로가 강화될 위험을 줄입니다.
3. 계산 인식 벤치마크 (STL-BENCH): 도메인 기반 시그널, 물리 단위, 산술 제약 조건, 그리고 명시적 도구 사용 주석을 갖춘 양국어 벤치마크로, 계산 인식 생성의 엄격한 평가를 가능하게 합니다.

실험 결과

기존 DeepSTL 벤치마크와 새로운 STL-BENCH 모두에서 실험이 수행되었습니다.

• DeepSTL 성능: REASONSTL-DIRECT(직접 생성 변형) 로 훈련된 4B 파라미터 모델 (Qwen3-4B) 은 81.43% 수식 정확도와 82.57% 포맷 정확도를 달성했습니다. 이는 가장 강력한 블랙박스 API 기반선 (Claude-Opus-4.7) 보다 15 퍼센트 포인트 이상 우월하며, 이전 최첨단 (RESTL) 보다 약 21 포인트 개선된 것입니다.
• STL-BENCH 성능:
  • 전체 REASONSTL 모델 (추론 및 도구 포함) 은 영어에서 51.0%, 중국어에서 **47.0%**의 수식 정확도를 달성하여 기본 모델과 신중하게 프롬프트된 API 기반선 (예: GPT-5.4, Kimi-K2.6) 을 모두 능가했습니다.
  • 인간 검증: 언어별 100 개 샘플의 하위 집합에서 REASONSTL 은 독점 모델의 성능과 일치하거나 초과하여 영어에서 53%, 중국어에서 **51%**의 정확도를 달성했습니다.
  • 일반화: 수동 작성된 템플릿 없는 테스트 세트에서 REASONSTL 은 가장 높은 수식 정확도 (54%) 를 달성하여 강력한 API 기반선을 약간 능가하면서도 일부 상용 모델보다 높은 추론 처리량을 유지했습니다.
• 애블레이션 연구: 결과에 따르면 감독 미세 조정 (SFT) 은 포맷 초기화에 도움이 되지만, 과정 보상과 도구 증강 추론을 통한 강화 학습 (RL) 이 성능 향상의 주된 동력임이 확인되었습니다.

중요성과 주장

이 논문은 REASONSTL 이 형식 명세 작성을 위한 투명하고 저비용이며 프라이버시를 보호하는 대안을 제공한다고 주장합니다. 전체 파이프라인을 로컬에 유지하고 오픈소스로 제공함으로써 상용 LLM API 와 관련된 프라이버시 및 비용 장벽을 해결합니다.

저자들은 프레임워크가 작업을 결정적 계산과 구조화된 추론으로 분해할 수 있는 능력이 생성 과정을 검사 가능하고 검증에 적합하게 만든다고 강조합니다. 이는 안전이 중요한 CPS 응용 분야에서 중요한 기능입니다. 시스템이 최첨단 성능을 달성하지만, 저자들은 안전이 중요한 맥락에서 잔류 의미론적 오류를 도메인 전문가가 검토해야 하므로, 현재는 전문가 명세 설계를 완전히 대체하기보다 인간 - 루프 작전 보조 도구로 가장 적합하다고 겸손하게 언급합니다.