🤖 AI

Neuro-Symbolic Injection of LTLf Constraints in Autoregressive Reinforcement Learning Policies

본 논문은 제약 조건을 미분 가능한 결정적 유한 오토마타로 컴파일함으로써 유한 궤적에 대한 선형 시제 논리(LTLf) 제약 조건을 트랜스포머 기반 자기회귀 강화 학습 정책에 통합하여, 오프라인 강화 학습 작업에서 경쟁력 있는 수익을 유지하면서도 제약 조건 만족도를 향상시키는 뉴로-심볼릭 프레임워크를 제안한다.

원저자: Ashkan Ansarifard (Sapienza University of Rome), Matteo Mancanelli (Sapienza University of Rome), Elena Umili (Sapienza University of Rome), Fabio Patrizi (Sapienza University of Rome)

게시일 2026-06-09

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ashkan Ansarifard (Sapienza University of Rome), Matteo Mancanelli (Sapienza University of Rome), Elena Umili (Sapienza University of Rome), Fabio Patrizi (Sapienza University of Rome)

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

개요: 시행착오 없이 규칙을 따르도록 로봇을 가르치는 법

당신이 로봇에게 미로를 통과하는 법을 가르치려 한다고 상상해 보세요. 현실 세계에서 로봇이 벽에 부딪히면, 로봇은 "아, 이건 하면 안 되는구나"라고 배웁니다. 하지만 **오프라인 강화 학습(Offline Reinforcement Learning)**에서 로봇은 실제 세상에 직접 부딪혀 볼 기회가 없습니다. 로봇은 오직 다른 사람이 남긴 과거의 시도들이 담긴 거대한 사진첩을 공부할 수 있을 뿐입니다.

문제는 무엇일까요? 사진첩 속의 로봇은 실수를 했을 수도 있습니다. 만약 당신이 단순히 로봇에게 "점수를 가장 많이 따라"고만 말한다면, 로봇은 과거에 높은 점수를 얻었다는 이유만으로 위험한 행동이라 할지라도 그 실수를 그대로 따라 배울 수 있습니다.

이 논문은 이러한 로봇을 가르치는 새로운 방법인 **뉴로-심볼릭 인젝션(Neuro-Symbolic Injection)**을 소개합니다. 이것은 로봇에게 엄격하고 논리적인 언어(LTLf)로 쓰인 "규칙 책"을 주고, 로봇이 사진첩을 통해 학습하는 동안 그 규칙 책을 강제로 함께 공부하게 만드는 것과 같습니다.

핵심 문제: "보상의 함정"

표준 AI 모델(이 논문에서 사용하는 **트랜스포머(Transformers)**와 같은 모델)은 'A 학점'(보상 극대화)에 집착하는 아주 똑똑한 학생과 같습니다. 이들은 사진첩을 보고 이렇게 말합니다. "좋아, 이 사진을 보니 로봇이 폭탄을 밟았지만, 나중에 엄청난 보상을 받았네. 나도 똑같이 해야지!"

하지만 자율주행 자동차나 의료용 로봇과 같이 안전이 매우 중요한 상황에서, 폭탄을 밟는 것은 곧 "게임 오버"를 의미합니다. 단순히 "나중에 보상을 받았으니 괜찮다"라고 말할 수는 없습니다. 설령 경로가 더 길어지더라도 로봇이 절대로 폭탄을 밟지 않도록 보장해야 합니다.

해결책: "교통 경찰"과 "논리 엔진"

저자들은 학생 로봇이 공부하는 동안 옆에서 지켜보는 교통 경찰(Traffic Cop) 역할을 하는 시스템을 구축했습니다.

규칙 책 (LTLf): 연구진은 "안전하게 행동하라"와 같은 모호한 지시 대신 **선형 시제 논리(Linear Temporal Logic)**를 사용합니다. 이것은 마치 정밀한 법률 계약서와 같습니다.
- 나쁜 지시: "폭탄을 피하려고 노력해라."
- LTLf 지시: "너는 항상 폭탄을 피해야 하며, 결국에는 목표 지점에 도달해야 한다."
- 이는 단순히 다음 단계를 넘어 여정 전체를 다룹니다.
교통 경찰 (DFA): 컴퓨터는 그 법률 계약을 **결정적 유한 오토마타(Deterministic Finite Automaton, DFA)**로 변환합니다. 이것은 순서도나 보드게임 지도와 같습니다.
- 로봇이 학습 과정에서 한 걸음을 내디딜 때마다, 교통 경찰은 순서도를 확인합니다.
- "폭탄을 밟았나? 아니? 좋아, 지도의 다음 칸으로 이동해."
- "폭탄을 밟았나? 응? 정지. 너는 이제 '실패' 구역에 들어왔다."
"부드러운" 유도 (미분 가능한 손실 함수): 여기에 마법 같은 기술이 있습니다. 보통 순서도는 매우 경직되어 있습니다. 안전하거나, 혹은 죽거나 둘 중 하나죠. 하지만 로봇은 자신의 뇌를 수학적으로 아주 미세하게 조정하며 학습합니다. 그런데 '죽은 상태'에서는 조정을 할 수 없습니다.
- 저자들은 이 교통 경찰를 **미분 가능(differentiable)**하게 만들었습니다. 이는 경찰이 단순히 "실패!"라고 외치는 것이 아니라, "너는 90% 정도 안전하지만, 위험 구역에 가까워지고 있어. 위험에서 멀어지도록 네 뇌를 아주 조금만 수정해봐"라고 말하는 것과 같습니다.
- 이는 **논리 손실(Logic Loss)**을 만들어냅니다. 이는 마치 선생님이 학생에게 최종 시험 성적만 매기는 것이 아니라, 숙제를 하는 모든 단계마다 점수를 주며 치명적인 실수를 하기 전에 부드럽게 교정해 주는 것과 같습니다.

테스트 방법: "컬러밤(ColourBomb)" 게임

연구진은 이를 **컬러밤(ColourBomb)**이라는 그리드 월드 게임에서 테스트했습니다.

목표: 색깔이 있는 출구에 도달하기.
위험 요소: 게임을 즉시 종료시키는 빨간색 "폭탄" 셀.
과제: 로봇은 폭탄을 한 번도 밟지 않고 목표에 도달하는 법을 배워야 합니다.

그들은 두 종류의 AI 모델을 비교했습니다:

디시전 트랜스포머 (Decision Transformer, DT): 과거 기록을 바탕으로 다음 움직임을 결정하는 모델.
트래젝토리 트랜스포머 (Trajectory Transformer, TT): 전체 경로를 한꺼번에 예측하는 모델.

결과: "혼돈"에서 "챔피언"으로

논리 경찰이 없는 경우 (기존 방식):
로봇들은 처참했습니다. 주어진 데이터가 엉망이었기 때문에 보상을 극대화하려다 계속 폭탄을 밟았습니다. 안전하게 목표에 도달하는 데 거의 100% 실패했습니다.

논리 경찰이 있는 경우 (새로운 방식):
"논리 손실"(교통 경찰의 부드러운 유도)을 추가하자 결과가 극적으로 변했습니다.

안전성: 로봇들이 폭탄을 밟지 않았습니다. 최적의 설정에서 100%의 안전성을 달 기록했습니다.
성공률: 목표 지점에 성공적으로 도달했습니다.
성능: 단순히 안전해진 것에 그치지 않고, 죽고 다시 시작하는 시간을 낭비하지 않았기 때문에 기존의 불안전한 로봇들보다 더 높은 점수를 얻었습니다.

트레이드오프: 최적의 지점 찾기

연구진은 "골디락스(Goldilocks)" 존을 발견했습니다.

논리 경찰이 너무 약하면(유도가 적으면), 로봇은 규칙을 무시하고 폭탄을 밟습니다.
논리 경찰이 너무 강하면, 로봇은 규칙을 너무 무서워한 나머지 얼어붙어 움직이지 못합니다(안전하긴 하지만 목표에 도달하지 못함).
연구진은 경찰의 "강도"를 조절하는 파라미터( $\alpha$ )를 통해, 로봇이 안전하면서도 성공적으로 움직이는 완벽한 균형점을 찾아냈습니다.

요 요약

이 논문은 로봇이 실제 세상에서 연습할 수 없는 상황에서도, 어떻게 엄격하고 복잡한 안전 규칙(예: "항상 X를 피하되, 결국 Y를 수행하라")을 따르도록 가르칠 수 있는지 보여줍니다. 규칙을 수학적인 "순서도"로 변환하고, 이를 통해 AI의 학습 과정을 부드럽게 교정함으로써, 보상만을 쫓는 방식보다 훨씬 더 안전하고 신뢰할 수 있는 로봇을 만들어냈습니다.

핵심 요점: 로봇의 뇌 전체를 다시 쓰거나 학습 데이터를 바꿀 필요는 없습니다. 그저 로봇이 처음부터 올바른 습관을 배울 수 있도록 지속적이고 부드럽게 안내하는 "논리 계층(logic layer)"을 추가하기만 하면 됩니다.

기술 요약: 자기회귀 강화 학습 정책에 LTLf 제약 조건을 주입하는 신경-기호적(Neuro-Symbolic) 기법

문제 정의
오프라인 강화 학습(RL)에서 에이전트는 온라인 상호작용 없이 사전에 수집된 데이터셋으로부터만 정책을 학습합니다. 궤적 트랜스포머(Trajectory Transformer, TT) 및 디시전 트랜스포머(Decision Transformer, DT)와 같은 최근의 시퀀스 모델링 접근 방식은 RL을 시퀀스 생성 문제로 프레이밍함으로써 성공적인 성과를 거두었으나, 이들은 일반적으로 누적 보상만을 최적화합니다. 이는 로보틱스나 자율 주행과 같이 고수준의 시간적 확장 제약(temporally extended constraints)을 준수해야 하는 안전 필수 영역에서 심각한 간극을 만듭니다. 표준적인 보상 기반 최적화는 "목표에 도달하면서 동시에 위험 요소를 항상 피한다"와 같은 복잡한 시간 논리 요구 사항을 만족하는 정책을 보장할 수 없습니다. 특히 오프라인 환경에서는 시행착오를 통한 탐색으로 위반 사항을 수정할 수 없다는 점이 더욱 치명적입니다.

방법론
저자들은 자기회귀 트랜스포머 기반 정책의 학습 과정에 유한 궤적에 대한 선형 시간 논리(LTL $_f$ ) 제약 조건을 직접 주입하는 신경-기호적 프레임워크를 제안합니다. 핵심 방법론은 세 가지 주요 구성 요소로 이루어집니다:

LTL $_f$ 에서 DFA로의 컴파일: 고수준의 시간적 명세(specification)는 결정적 유한 오토마타(DFA)로 컴파일됩니다. 이러한 변환을 통해 논리적 제약 조건은 토큰 시퀀스를 처리할 수 있는 상태 전이 시스템으로 표현될 수 있습니다.
미분 가능한 논리 손실(Differentiable Logic Loss): 이산적인 오토마타를 신경망의 연속적인 최적화에 통합하기 위해 저자들은 미분 가능한 표현 방식을 사용합니다.
- 소프트 만족 신호(Soft Satisfaction Signals): 하드 샘플링 대신, 프레임워크는 Gumbel-Softmax 샘플링을 사용하여 학습 중에 미분 가능한 근사 원-핫(near-one-hot) 토큰 벡터를 생성합니다.
- DeepDFA 통합: 이 소프트 토큰들은 표준 DFA의 신경망적 완화 버전인 "DeepDFA"에 입력됩니다. 이 모듈은 생성된 궤적이 LTL $_f$ 공식을 만족할 가능성을 나타내는 확률적 만족 신호를 계산합니다.
- 정규화: 논리 손실 함수( $L_\phi$ )는 만족 확률의 음의 로그 확률로부터 유도됩니다. 이는 가중 합을 통해 표준 지도 시퀀스 모델링 손실( $L_{\mathcal{D}}$ )과 결합됩니다: $L = \alpha L_\phi + (1 - \alpha) L_{\mathcal{D}}$ , 여기서 $\alpha$ 는 트레이드오프 파라미터입니다.
아키텍처 불가지론(Architecture Agnosticism): 본 프레임워크는 자기회귀 시퀀스 모델 클래스 내에서 모델 불가지론적으로 설계되었습니다. 토큰-심볼 매핑과 DFA 롤아웃을 처리하기 위해 공유된 "로직 어댑터(logic adapter)"를 활용하며, 이를 통해 기본 구조를 변경하지 않고도 TT 및 DT 아키텍처 모두에 적용 가능합니다.

주요 기여
본 논문은 세 가지 주요 기여를 명시합니다:

통합 신경-기호적 프레임워크: 오토마타 기반 모듈을 사용하여 트랜스포머 기반 오프라인 RL 정책에 LTL $_f$ 제약 조건을 주입하는 방법론을 제시하며, 이는 아키텍처에 구애받지 않습니다.
표준 평가 스택(Canonical Evaluation Stack): 데이터셋 직렬화, 토큰-심볼 매핑, 그리고 논리적 평가를 일치시키는 일관된 에피소드 종료 평가 파이프라인을 구축하여, 훈련과 시간 논리 평가 사이의 의미론적 불일치를 방지합니다.
경험적 분석: 내비게이션 도메인에서의 체계적인 평가를 통해, 다양한 수준의 논리적 가이드 하에서 작업 성능(return)과 제약 조건 만족 사이의 트레이드오프를 입증합니다.

실험 결과
프레임워크는 ColourBomb 내비게이션 환경에서 두 가지 명세 유형인 불변 안전성(Invariant Safety, $G(\neg \text{bomb})$ )과 안전한 상태에서의 도달(Reach-while-Safe, $G(\neg \text{bomb}) \land F(\text{goal})$ )을 테스트했습니다.

디시전 트랜스포머 (DT):
- 로직 정규화가 없는 바닐라 DT는 폭탄 셀에 충돌하거나 목표에 도달하는 데 완전히 실패했습니다.
- 높은 트레이드오프 파라미터( $\alpha = 0.8$ )를 적용한 로직 정규화를 도입했을 때, 안전성 및 안전한 상태에서의 도달 명세 모두에서 100% 만족도를 달しまいました.
- 결정적으로, 이러한 고제약 설정은 치명적인 실패(폭탄 충돌)를 제거함으로써 평균 리턴을 개선( -1.460에서 -0.780으로)하였으며, 이는 제약 조건 만족이 오프라인 환경에서 성능과 일치할 수 있음을 보여줍니다.
궤적 트랜스포머 (TT):
- 바닐라 TT는 부분적인 안전 준수를 보였으나 목표 달성도는 낮았습니다.
- 로직 정규화는 만족도를 높이고 폭탄 충돌률을 낮추었습니다. 불변 안전성 작업의 경우 $\alpha = 0.8$ 이 최상의 결과를 냈습니다. 더 복잡한 '안전한 상태에서의 도달' 작업의 경우, 더 낮은 가중치( $\alpha = 0.1$ )가 바닐라 모델보다 만족도와 리턴 모두를 개선하는 최적의 균형을 제공했습니다.
- 저자들은 TT에서의 개선 효과가 DT에 비해 완만했다는 점을 언급하며, 이는 향후 연구 과제로 남겨두었습니다.

의의 및 주장
본 논문은 데이터 표현을 수정하거나 보상 셰이핑(reward shaping)에 의존하는 대신, 심볼릭 배경 지식을 학습 목적 함수에 직접 통합하는 것이 안전 필수 오프라인 RL의 신뢰성을 높이는 유망한 방향임을 주장합니다.

방법론의 중요성에 관한 주요 주장은 다음과 같습니다:

직접적인 제약 주입: 명시적인 환경 모델이 필요한 실딩(shielding) 방식이나 엔지니어링이 어려운 보상 셰이핑 방식과 달리, 이 방법은 시간 논리 지식을 학습 손실에 직접 주입합니다.
범용성: 본 프레임워크는 "안전 프래그먼트(safety fragment)"를 넘어 라이브니스(liveness) 및 복잡한 시간적 조합을 포함하는 임의의 LTL $_f$ 공식을 지원합니다.
성능 보존: 실험 결과, 엄격한 논리적 제약을 강제하는 것이 반드시 작업 성능을 저하시키는 것은 아니라는 점을 시사합니다. 테스트된 시나리오에서, 제약 조건은 바닐라 모델이 빈번하게 겪었던 치명적인 결과를 방지함으로써 오히려 리턴을 향상시켰습니다.

저자들은 본 접근 방식이 현재 오프라인 설정에 국한되어 있다는 점과 TT에서의 개선이 DT보다 덜 뚜렷했다는 점을 인정하며 겸허한 태도를 유지합니다. 또한 추가적인 벤치마크 및 모델 아키텍처로의 확장, 그리고 기존의 확립된 Safe RL 프레임워크와의 광범위한 엔드 투 엔드 비교를 향후 연구 과제로 식별하였습니다.