SafeRun: Enabling Determinism in LLM Planning for Running

기술 요약: SafeRun

문제 정의

대규모 언어 모델(LLM)은 자율 에이전트 및 작업 계획 분야를 발전시켰으나, 본질적인 확률적 특성은 **결정론적 실행이 필수적인 영역(determinism-critical domains)**에 배치되는 데 있어 근본적인 장벽을 형성합니다. 러닝 계획(running planning)과 같이 안전 규칙 위반이 심각한 신체적 결과로 이어질 수 있는 시나리오에서, LLM의 예측 불가능성은 순수 모델 기반 접근 방식의 위험성을 용납할 수 없는 수준으로 만듭니다. LLM의 추론에만 의존하거나, 제약 없는 외부 도구(예: 임의의 코드 생성)를 결uma적으로 보강하는 전통적인 계획 방식은 엄격한 생리학적 및 안전 제약 조건을 준수하도록 보장하는 데 필요한 절대적인 신뢰성을 제공하지 못합니다.

방법론: SafeRun 프레임워크

이를 해결하기 위해 저자들은 **분리된 아키텍처(decoupled architecture)**를 통해 결정론적 LLM 기반 계획을 가능하게 하는 새로운 프레임워크인 SafeRun을 제안합니다. 핵심 통찰은 계획 프로세스를 두 개의 별도 단계로 분리하는 것입니다:

1. 소프트 해석 (LLM 단계): LLM은 자연어 인터페이스 역할을 합니다. 그 역할은 사용자의 의도를 이해하고 **사전에 정의된 결정론적 솔버(predefined deterministic solver)**로의 호출 파이프라인을 구축하는 것으로 제한됩니다. 결정적으로, LLM은 임의의 실행 가능한 코드를 생성하거나 최종 계획을 직접 구성하는 것이 허용되지 않습니다. 대신, LLM은 제한된 세트의 **계획 API(planning APIs)**를 통해 상호작용합니다.
2. 하드 인포스먼트 (결정론적 솔버 단계): 공식적이고 결정론적인 솔버가 LLM이 생성한 파이프라인을 실행합니다. 이 솔버는 다음과 같은 기능을 갖추고 있습니다:
   • 하드 제약 조건 (Hard Constraints): 도메인 전문 지식에서 유래된 명시적으로 코딩된 안전 규칙(예: Daniels의 러닝 공식). 여기에는 강도 높은 세션 제한(주당 최대 2회), 연속적인 고강도 훈련일 금지, 주간 총 마일리지 상한선, 세션당 마일리지 캡(주간 총량의 50%), 그리고 강도 마일리지 비율(주간 총량의 최대 10%) 등이 포함됩니다.
   • 소프트 제약 조건 (Soft Constraints): 운동 다양성, 러닝/휴식 균형, 거리 균일성과 같이 계획의 품질을 개선하기 위한 최적화 목표입니다.
   • 사전 정의된 계획 API (Predefined Planning APIs): LLM이 밑단의 최적화 로직을 조작하지 않고도 제약 조건을 지정할 수 있도록 하는 구조화된 인터페이스(예: set_day_type, set_day_distance_range)입니다.

두 단계는 에이전트 루프(agent loop) 내에서 작동합니다. 만약 솔버가 LLM이 제안한 파이프라인이 제약 조건을 위반한다고 판단하면, 유효한 솔루션이 발견되거나 최대 반복 횟수에 도달할 때까지 재계획을 위한 피드백이 LLM에 전달됩니다.

벤치마크 구축

SafeRun을 검증하기 위해 저자들은 러닝 계획을 위한 포괄적인 벤치마크를 구축했습니다:

• 데이터 큐레이션: 10명의 전문가가 다양한 훈련 목표와 제약 조건을 다루는 100개의 고품질 다주차(multi-week) 러닝 계획 쿼리를 큐레이션했습니다.
• 사용자 프로필: 생리학적 조건(연령, 성별, BMI)과 훈련 수준(초보자부터 숙련자까지)이 다양한 10개의 고유한 러너 프로필을 생성했습니다.
• 평가 세트: 각 쿼리를 4개의 서로 다른 프로필과 체계적으로 결합함으로써, 자연어 이해와 안전 제약 계획 능력을 모두 테스트할 수 있는 400개의 프로필-쿼리 조합을 생성했습니다.

실험 결과

프레임워크는 5가지 최첨단 LLM(GPT-5, GPT-4.1, DeepSeek-V3.2, Qwen3.5 포함)을 대상으로 평가되었으며, 두 가지 베이스라인인 프롬프트 엔지니어링(PE) 및 CodeAct(일반 코드 생성을 허용하는 도구 통합 접근 방식)와 비교되었습니다.

• 안전 점수 (Safety Score): SafeRun은 모든 모델에서 100%의 안전 점수를 달-성하여, PE 평균(79.1%)과 CodeAct 평균(97.6%)을 크게 상회했습니다. 낮은 베이스라인 안전성을 가진 모델(예: PE에서 67.8%를 기록한 GPT-4.1-mini)조차 SafeRun 하에서는 완전한 준수율을 달성했습니다.
• 지시 이행 점수 (Instruction-Following Score): SafeRun은 경쟁력 있는 성능(평균 81.5%)을 유지하며, PE(69.2%)를 능가하고 CodeAct(80.3%)를 약간 상회했습니다.
• 성공률 (Success Rate): 모든 방법론이 유효한 계획 생성에서 100% 성공률을 보였는데, 이는 실행 가능한 솔루션이 존재하도록 벤치마크 데이터셋을 엄격하게 필터링했기 때문입니다.

결과는 결정론적 솔버가 SafeRun의 신뢰성을 결정짓는 핵심 요소이며, 확률적 생성과 절대적 안전 사이의 간극을 효과적으로 메운다는 것을 보여줍니다.

주요 기여

1. 새로운 프레임워크: SafeRun은 소프트 해석과 하드 제약 인포스먼트를 분리함으로써 결정론적 LLM 계획을 위한 분리된 아키텍처를 도입합니다.
2. 포괄적인 벤치마크: 본 논문은 현실적인 생리학적 및 안전 제약 조건 하에서의 러닝 계획을 위한 구조화된 벤치마크를 제공하여 기존 평가 데이터셋의 공백을 메웁니다.
3. 실증적 검증: 광범위한 평가를 통해 SafeRun이 높은 지시 이행 능력을 유지하면서도 제약 조건 만족 측면에서 강력한 베이스라인들을 일관되게 능가함을 입증했습니다.

의의 및 한계점

저자들은 SafeRun이 결정론적 제약 인포스먼트를 도입함으로써 안전이 중요한 환경에 LLM을 배치하기 위한 일반화 가능한 접근 방식을 제공한다고 주장합니다. 러닝 계획에서 입증되었으나, 이 방법론은 추가적인 엔지니어링 없이도 엄격한 규칙 준수가 필요한 다른 도메인에 적용될 수 있도록 설계되었습니다.

논문은 다음과 같은 구체적인 한계를 인정합니다:

• 현재 벤치마크는 실행 가능한 쿼리-프로필 쌍만을 포함하고 있으며, 불가능하거나 상충하는 요청을 처리하는 시스템의 능력을 평가하지 않습니다.
• 결정론적 솔버는 수동으로 설계된 도메인 특화 규칙 및 API에 의존하므로, 추가적인 엔지니어링 없이는 러닝 이외의 계획 도메인으로 즉각적인 일반화가 제한될 수 있습니다.

본 연구는 SafeRun이 의사 결정 지원 도구로 설계되었음을 강조하며, 전문적인 가이드를 대체해서는 안 된다는 점을 명시하여 안전 민감 애플리케이션에서의 책임 있는 배포의 필요성을 역설합니다.