SafeGen-LLM: Enhancing Safety Generalization in Task Planning for Robotic Systems

본 논문은 기존 계획 방법의 한계를 극복하고 다양한 도메인에서 새로운 안전 속성으로 일반화 가능한 로봇 작업 계획을 위해, 형식적 검증을 기반으로 한 두 단계 후학습 프레임워크를 제안한 'SafeGen-LLM'을 소개합니다.

핵심

이 논문은 **"로봇이 일을 할 때, 어떻게 하면 실수 없이 안전하게 일할 수 있을까?"**라는 질문에 대한 해답을 제시합니다.

기존의 방법들은 로봇에게 일을 시키기엔 너무 느리거나, 학습을 시켜도 새로운 상황에서는 엉뚱한 짓을 하거나, 아예 안전 규칙을 무시하는 문제가 있었습니다. 이 논문은 **LLM(거대 언어 모델, 즉 AI)**을 로봇의 두뇌로 쓰되, "안전한 사고방식"을 가르치는 새로운 훈련법을 제안합니다.

이 복잡한 기술을 쉽게 이해할 수 있도록 비유와 이야기로 설명해 드리겠습니다.

---

🤖 1. 문제: 로봇은 왜 위험할까?

로봇에게 "창고에서 물건을 옮겨줘"라고 하면, 로봇은 어떻게 해야 할지 모릅니다.

• 옛날 방식 (전통적 계획기): 로봇이 모든 상황을 수학적으로 계산해서 길을 찾습니다. 하지만 문제가 복잡해지면 (예: 물건이 너무 많거나, 규칙이 까다로울 때) 계산이 너무 오래 걸려서 로봇이 멍해집니다. (비유: 매우 꼼꼼하지만 느린 수학 천재)
• 학습 방식 (강화학습): 로봇이 실수하고 고치기를 반복하며 배웁니다. 하지만 새로운 상황 (예: 창고가 바뀌거나 물건이 달라짐) 이 나오면 다시 처음부터 배워야 해서 비효율적입니다. (비유: 오직 한 번의 경험만 기억하는 학생)
• 기존 AI (LLM): 인터넷의 모든 책을 읽은 똑똑한 AI 입니다. 하지만 "안전"이라는 개념을 모릅니다. "벽을 뚫고 지나가라"는 말도 그대로 따를 수 있고, 물건을 떨어뜨려도 상관없다고 생각할 수 있습니다. (비유: 지식은 많지만, 안전 수칙을 모르는 무식한 천재)

🛡️ 2. 해결책: SafeGen-LLM (안전한 AI 로봇)

저자들은 이 똑똑한 AI 에게 "안전 수칙"을 체화시키는 훈련을 시켰습니다. 마치 유치원생에게 "불은 만지지 마라"를 가르치는 과정과 비슷합니다.

이 훈련은 두 단계로 이루어집니다.

1 단계: "안전한 행동 교실" (SFT - 지도 학습)

• 상황: AI 에게 "안전하게 물건을 옮기는 방법"을 정답과 함께 보여줍니다.
• 비유: 숙제 풀기입니다. 선생님이 "벽돌을 쌓을 때는 아래부터 쌓아야 해. 위부터 쌓으면 무너져!"라고 정답을 보여주고, AI 가 그걸 따라 쓰게 합니다.
• 효과: AI 가 로봇이 말하는 '언어' (명령어) 를 배우고, 기본적인 안전 규칙을 외웁니다. 하지만 아직 완벽하지는 않습니다.

2 단계: "안전 감시관과의 실전 훈련" (GRPO - 강화 학습)

• 상황: AI 가 스스로 계획을 세우면, **자동 감시관 (검증기)**이 그 계획을 검사합니다.
• 비유: 게임의 '레벨업' 시스템입니다.
  • AI 가 실수하면 (벽을 부딪치거나, 물건을 떨어뜨리면) 감시관이 "뻥!" 하고 벌점을 줍니다.
  • AI 가 안전하게 성공하면 "짝짝!" 하고 점수를 줍니다.
  • 중요한 점은, AI 가 실수한 이유를 구체적으로 알려줍니다. "아, 내가 벽돌을 너무 빨리 쌓아서 무너졌구나"라고 깨닫게 하는 것입니다.
• 효과: AI 는 벌점을 피하고 점수를 얻기 위해 스스로 안전 규칙을 깨우치게 됩니다. 단순히 정답을 외우는 게 아니라, 왜 안전해야 하는지 이해하게 됩니다.

🌟 3. 이 기술의 놀라운 점 (결과)

이 훈련을 받은 AI 는 다음과 같은 놀라운 능력을 갖게 되었습니다.

1. 새로운 상황도 척척 (일반화):
   • A 공장에서는 안전 규칙을 배웠는데, B 공장 (새로운 환경) 에 가도 안전 규칙을 적용할 줄 압니다.
   • 비유: "차도에서 뛰지 마라"를 배운 아이가, "산책로에서도 뛰지 마라"는 것을 스스로 추론할 수 있는 것과 같습니다.
2. 작은 AI 가 거대 AI 를 이기다:
   • 보통 AI 는 크기가 클수록 똑똑하다고 생각하지만, 이 훈련을 받은 작은 AI 가 안전 문제에서는 훨씬 더 큰 AI 보다 잘합니다.
   • 비유: 안전 수칙을 잘 지키는 작은 경비원이, 지식은 많지만 무뚝뚝한 거인보다 사고를 더 잘 막아냅니다.
3. 말투가 달라도 이해함:
   • 로봇에게 "벽돌을 옮겨"라고 말하든, "A, B, C" 같은 기호로 명령하든, AI 는 모두 이해하고 안전하게 실행합니다.

🏗️ 4. 실제 로봇에게 적용해 보니?

논문에서는 실제 로봇 팔 (Elephant myCobot) 에 이 AI 를 달아보았습니다.

• 일반 AI: 물건을 쌓다가 다른 물건을 부딪혀서 깨뜨렸습니다. (실제 사고 발생!)
• SafeGen-LLM: "아, 이 순서로 쌓으면 부딪히겠구나"라고 생각해서 경로를 바꿔서 안전하게 성공했습니다.

💡 요약

이 논문은 **"로봇에게 일을 시킬 때, 단순히 '일만 잘하는' AI 가 아니라, '안전까지 생각하는' AI 를 만드는 방법"**을 제시했습니다.

기존의 AI 는 "무엇을 할지"만 알았지만, 이 SafeGen-LLM은 **"무엇을 하지 말아야 하는지 (안전)"**까지 배우게 되었습니다. 마치 지식만 많은 천재를 안전 수칙을 잘 지키는 성실한 전문가로 변신시킨 것과 같습니다. 덕분에 로봇은 이제 공장이나 집에서도 더 안전하고 똑똑하게 일할 수 있게 되었습니다.

기술 요약

1. 문제 정의 (Problem Definition)

로봇 시스템의 안전-중요 (Safety-critical) 작업 계획 (Task Planning) 은 다음과 같은 기존 방법론들의 한계로 인해 여전히 난제입니다.

• 전통적 계획기 (Classical Planners): PDDL(Planning Domain Definition Language) 기반의 휴리스틱 검색 방식 (예: Fast Downward, OPTIC) 은 안전성을 보장할 수 있지만, 문제 복잡도가 증가함에 따라 계산 비용이 기하급수적으로 늘어나 확장성 (Scalability) 이 떨어지고, 도메인별 수동 엔지니어링이 필요하여 유연성이 부족합니다.
• 강화학습 (RL) 기반 방법: 데이터에서 직접 학습하지만, 단일 작업에 국한된 일반화 능력 (Generalization) 이 낮고, 학습을 위한 환경 상호작용 비용이 매우 높습니다.
• 기반 대규모 언어 모델 (Base LLMs): 다양한 입력 형식을 처리하고 추론 능력이 뛰어나지만, 도메인별 안전 지식과 정렬 (Alignment) 이 부족하여 안전 위반 (Safety Violation) 이나 실행 불가능한 계획을 생성할 수 있습니다.

핵심 질문: 다양한 도메인과 새로운 안전 속성에 대해 안전성을 보장하면서도 강력하게 일반화되는 로봇 작업 계획 LLM 을 어떻게 체계적으로 정렬 (Align) 할 수 있는가?

---

2. 제안 방법론: SafeGen-LLM (Methodology)

저자들은 SafeGen-LLM을 제안하며, 이는 검증 가능한 안전 지식을 학습 과정에 통합하는 3 단계 프레임워크로 구성됩니다.

A. 데이터셋 구축 (Dataset Construction)

• 다중 도메인 벤치마크: Blocksworld, Ferry, Grippers, Spanner 등 4 가지 로봇 작업 도메인을 선정했습니다.
• 안전 제약 조건 명시: PDDL2 기반 문제 생성기를 사용하여 문제를 생성한 후, PDDL3 의 :constraints 필드를 활용하여 명시적인 안전 제약 (예: 충돌 회피, 하중 제한, 작업 순서) 을 추가했습니다.
• 검증된 솔루션: 전통적 계획기 (OPTIC) 와 검증 도구 (VAL) 를 사용하여 안전 제약과 전제 조건을 모두 만족하는 계획 (Plan) 만을 선별하여 '지시 - 응답 (Instruction-Response)' 쌍으로 변환했습니다.

B. 1 단계: 지도 미세 조정 (Supervised Fine-Tuning, SFT)

• 목적: 모델이 계획의 문법 (Syntax) 과 의미 (Semantics) 를 학습하도록 합니다.
• 과정: 구축된 검증된 데이터셋을 사용하여 사전 훈련된 LLM 을 미세 조정합니다.
• 효과: 모델이 자연어 설명이 아닌 엄격한 작업 지시 형식 (Action sequence) 을 따르고, 도메인별 안전 지식을 내재화하도록 초기화합니다.

C. 2 단계: 그룹 상대 정책 최적화 (Group Relative Policy Optimization, GRPO)

• 목적: 온라인 강화학습을 통해 안전 정렬 (Safety Alignment) 을 강화하고 복잡한 작업을 처리합니다.
• 세부 보상 설계 (Reward Machine): 생성된 계획에 대해 VAL 도구를 사용하여 5 단계 계층적 보상을 부여합니다.
  1. 형식 오류 (Format Error): 가장 낮은 보상.
  2. 안전 제약 위반 (Safety Violation): 두 번째로 낮은 보상 (가장 중요하게 간주).
  3. 전제 조건 위반 (Precondition Violation).
  4. 목표 미달 (Goal Not Satisfied).
  5. 성공 (Success Plan): 가장 높은 보상.
  • 핵심: 안전 위반이 목표 달성보다 더 심각한 실패로 간주되도록 보상 구조를 설계하여, 모델이 안전을 최우선으로 하도록 유도합니다.
• 커리큘럼 학습 (Curriculum Learning): 문제의 난이도 (도메인별 구조적 파라미터 기반) 를 Easy, Medium, Hard 로 분류하여, 학습 초기에는 쉬운 문제부터 점차 어려운 문제로 넘어가는 방식으로 학습 안정성을 높입니다.

---

3. 주요 기여 (Key Contributions)

1. 안전 인식 PDDL 계획 통합 벤치마크: 명시적인 안전 제약이 포함된 다중 로봇 도메인 데이터셋을 최초로 제안하여, 안전 준수 및 일반화 능력을 체계적으로 평가할 수 있는 기준을 마련했습니다.
2. 체계적인 사후 훈련 (Post-training) 프레임워크: SFT 와 검증 기반의 세밀한 보상 (Fine-grained Reward) 을 활용한 GRPO 를 결합한 2 단계 프레임워크를 제안했습니다. 이는 LLM 기반 계획기의 안전 일반화 능력을 획기적으로 향상시킵니다.
3. 범위 및 도메인 간 우수한 성능: 소규모 오픈소스 모델 (7B~14B 파라미터) 이도 안전 제약이 있는 계획 작업에서 파라미터 수가 훨씬 많은 선구적 폐쇄형 모델 (Frontier Proprietary Models) 을 능가하는 성능을 입증했습니다. 또한, PDDL, 자연어, JSON 등 다양한 입력 형식에 대해 강력한 일반화 능력을 보였습니다.

---

4. 실험 결과 (Results)

• 확장성 비교: 복잡한 Blocksworld 및 Grippers 문제에서 GPT-5.2(LLM 기반) 는 100% 성공률을 보인 반면, 전통적 계획기 (OPTIC, Fast Downward) 는 문제 복잡도 증가에 따라 성공률이 급격히 하락하고 실행 시간이 길어졌습니다.
• 안전 일반화 (Cross-Problem & Cross-Domain):
  • SFT 단계: 형식 오류가 제거되고 성공률이 크게 향상되었습니다.
  • GRPO 단계: 안전 위반률이 거의 0% 에 수렴 (Qwen3-14B 기준 02%) 하며, 성공률이 88100% 로 추가 향상되었습니다.
  • 모델 규모: 14B 모델뿐만 아니라 8B 모델에서도 유사한 개선 추세를 보이며, 안전 지식 학습이 모델 크기에 독립적으로 작동함을 입증했습니다.
• 입력 형식 일반화: 모델은 PDDL3 으로만 훈련되었음에도 불구하고, 자연어 (NL) 및 JSON 입력에서도 84~92.5% 의 높은 성공률을 보이며 형식 오류가 거의 발생하지 않았습니다.
• 실제 로봇 배포 (Real-World Validation):
  • 시뮬레이션: 안전 제약이 있는 블록 쌓기 작업에서 기존 솔버는 충돌을 일으켰으나, SafeGen-LLM 은 안전 순서를 준수하여 목표를 달성했습니다.
  • 물리적 로봇: 실제 로봇 팔 (Elephant myCobot 280) 에 배포하여, 안전 계획은 충돌 없이 작업을 완료했으나 안전하지 않은 계획은 물리적 충돌을 일으켰음을 확인했습니다.
• SafePilot 통합: 외부 검증 프레임워크인 SafePilot 과 결합 시, GRPO 학습된 모델은 재시도 횟수를 최소화하면서 97.5% 의 성공률을 달성했습니다.

---

5. 의의 및 결론 (Significance)

이 논문은 LLM 을 로봇의 안전-중요 작업 계획에 안전하게 적용할 수 있는 방법론을 제시했습니다.

• 안전과 효율성의 균형: 기존 방법론이 겪던 확장성 문제와 안전성 보장의 딜레마를 해결했습니다.
• 검증 가능한 학습: 단순한 텍스트 생성이 아닌, 형식 검증 (Formal Verification) 도구를 보상 함수로 활용하여 모델이 안전성을 내재화하도록 유도했습니다.
• 실용성: 소규모 오픈소스 모델로도 상용 모델 대비 우수한 성능을 내며, 실제 물리적 로봇 환경에서도 충돌 없는 작동을 증명하여 산업 현장 적용 가능성을 높였습니다.

결론적으로 SafeGen-LLM 은 로봇 시스템이 동적이고 복잡한 환경에서도 안전을 보장하면서 유연하게 작업을 계획할 수 있는 새로운 패러다임을 제시합니다.