💻 computer science

FORGE-plus: Force-Budgeted Recovery for Contact-Rich Assembly with a Frozen LLM Supervisor

FORGE-plus는 텍스트 시그니처를 기반으로 힘의 상한선을 할당하고 복구 기동을 선택하기 위해 동결된 LLM을 활용하는 2계층 프레임워크를 도입하여, 저수준 제어기가 힘을 직접 제어하거나 안전 한계를 초과하지 않고도 좁은 간극과 미끄러짐 복구가 필요한 접촉이 빈번한 조립 공정에서 견고하고 파손 없는 조립을 달성할 수 있도록 합니다.

원저자: Kyupaeck Jeff Rah, Midum Oh

게시일 2026-07-24

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Kyupaeck Jeff Rah, Midum Oh

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇이 마치 유리로 된 레고 블록을 가지고 노는 서투른 유아처럼 행동하는 세상을 상상해 보세요. 그런데 이 레고 블록은 유리로 만들어졌고, 설명서는 로봇이 읽을 수 없는 언어로 쓰여 있습니다. 이것이 바로 **접촉 집약적 조립(contact-rich assembly)**의 과제입니다. 즉, 기계가 부품을 깨뜨리지 않고 부드럽게 밀고, 미끄러뜨리고, 끼워 맞추도록 가르치는 일입니다. 과거에 로봇은 시행착오를 통해 이를 배웠는데, 대개 적절한 힘을 찾아낼 때까지 부품을 박살 내며 학습했습니다. 하지만 부품이 너무 연약해서 박살 낼 수 없다면 어떻게 될까요?

이를 해결하기 위해 과학자들은 로봇이 성공하면 점수를 얻고 실수를 하면 벌점을 받는 방식인 **강화 학습(Reinforcement Learning, RL)**과, 이야기나 질문에 답할 수 있는 것과 같은 종류의 AI인 **대규모 언어 모델(Large Language Models, LLMs)**을 혼합하여 사용합니다. 핵심적인 질문은 이것입니다: 로봇에게 얼마나 세게 밀어야 하는지, 그리고 막혔을 때 무엇을 해야 하는지 어떻게 알려줄 것인가? 만약 로봇이 나사를 끼우다 걸린다면, 본능적인 반응은 "더 세게 밀기"일 것입니다. 하지만 당신이 깨지기 쉬운 유리병을 들고 있다면, 더 세게 미는 것은 그것을 파편 더미로 만드는 가장 빠른 길입니다. 이 논문은 "부품"이 너무 강한 힘을 받으면 깨질 수 있는 시뮬레이션을 사용하여, 로봇이 부드럽고, 똑똑하며, 안전하게 움직이도록 가르치는 새로운 방법을 탐구합니다.

"그거 건드리지 마" 표지판을 단 로봇

섬세한 물건(예를 들어 와인 랙에 유리병을 넣거나, 틈이 거의 없는 축에 작은 기어를 끼우는 일)을 조립하도록 설계된 새로운 시스템인 FORGE-plus를 만나보세요. 연구진은 로봇을 위한 두 층 구조의 뇌를 만들었는데, 이는 엄격한 상사와 순발력 있는 정비사처럼 작동합니다.

상사 (Frozen LLM - 고정된 LLာ 모델):
로봇이 물체에 손을 대기도 전에, "고정된" AI(학습하거나 변하지 않는 똑똑한 텍xt 판독기)가 물체의 이름과 설명을 살펴봅니다. 이는 마치 상사가 "깨지기 쉬운 유리" 또는 "강철 기어"라고 적힌 라벨을 읽는 것과 같습니다. 이 텍스트를 바탕으로 상사는 **힘의 천장(force ceiling)**을 설정합니다. 이것을 힘의 속도 제한 표지판이라고 생각하세요. 만약 물체가 깨지기 쉬운 병이라면, 상사는 "최대 8.8 뉴턴(N)의 힘으로만 밀 수 있다"라고 명령합니다. 만약 단단한 강철 기어라면 제한치가 더 높습니다. 결정적으로, 로봇은 설령 작업 중 막히더라도 나중에 상사에게 이 제한치를 변경해달라고 요청할 수 없습니다.

정비사 (Fast Control Loop - 빠른 제어 루프):
로봇의 실제 손은 빠른 컴퓨터 루프에 의해 안내되며 매우 빠르게 움직입니다. 이 루프에는 안전 밸브 역할을 하는 강력한 "클램프(clamp)"가 있습니다. 로봇의 뇌가 무엇을 생각하든 상관없이, 이 클램프는 물리적으로 로봇이 상사의 제한치보다 더 세게 밀지 못하도록 차단합니다. 만약 로봇이 10 뉴턴으로 밀려고 시도한다면, 클램프는 즉시 이를 제한치까지 낮춥니다. 이를 통해 로로봇이 실수를 하더라도, 너무 세게 밀어서 물체를 깨뜨리는 일을 방지할 수 있습니다.

문제가 생기면 어떻게 될까?

현실 세계에서는 무언가 걸리는 일이 발생합니다. 아마도 병이 랙의 테두리에 부딪히거나, 기어가 그리퍼 안에서 기울어졌을 수도 있습니다. 과거에 로봇들은 이를 뚫고 나가기 위해 "더 세게 누르는" 전략을 썼을지도 모릅니다. 연구진은 이 "더 세게 누르기" 전략을 테스트해 보았는데, 결과는 처참했습니다. 한 종류의 그리퍼에서는 시간만 낭비할 뿐 아무 효과가 없었지만, 다른 종류의 그리퍼에서는 깨지기 쉬운 부품의 96%를 박살 냈습니다.

FORGE-plus는 다른 접근 방식을 취합니다. 로봇이 막혔을 때, 상사에게 제한치를 높여달라고 요청하지 않습니다. 대신, 로봇은 **힘의 시그니처(force signature)**를 살핍니다. 로봇이 센서를 통해 접촉의 "소리"를 듣고 있다고 상상해 보세요. 병이 걸린 소리와 기어가 걸린 소리는 다릅니다. 로봇은 이 "소리"(즉, 힘에 대한 짧은 텍스트 설명)를 상사에게 보냅니다. 그러면 상사는 "흔들기", "회전하기", 또는 "놓았다가 다시 시도하기"와 같이 정해진 메뉴에서 복구 동작을 선택합니다.

마법 같은 점은 로봇이 절대로 힘의 제한치를 높이지 않는다는 것입니다. 그저 안전한 범위 내에서 다른 동작들을 시도할 뿐입니다. 만약 병이 끼었다면, 로봇은 병을 아래로 밀어붙이는 대신, 틈을 찾기 위해 병을 약간 회전시킬 수 있습니다.

결과: 시뮬레이션의 성공 사례

연구진은 매우 현실적인 컴퓨터 시뮬레이션(Isaac Lab 사용)에서 Robotiq 그리퍼와 Franka Panda 핸드라는 두 가지 서로 다른 로봇 손을 사용하여 이를 테스트했습니다. 두 가지 주요 작업을 수행했습니다:

병: 깨지기 쉬운 유리병을 랙에 넣기.
기어: 아주 좁은 0.4mm 간격(사람의 머리카락보다 가는 수준)의 축에 기어를 끼우기.

좋은 소식:
이 시스템은 시뮬레이션에서 놀라울 정도로 잘 작동했습니다. 단 하나의 로봇 "뇌"(체크포인트)가 깨지기 쉬운 기어와 단단한 기어 모두를 단 하나도 깨뜨리지 않고 256번 중 256번 모두 성공적으로 끼워 넣었습니다. 또한 로봇은 물체를 놓아야 할 때를 완벽하게 학습하여, 잘못된 놓기(bad release)가 단 한 건도 발생하지 않았습니다. 심지어 로봇이 미끄러져서 기어를 잘못된 각도로 잡았을 때도, 시스템은 힘의 시그니처를 통해 "아, 내가 이걸 비뚤게 잡았구나"라고 판단하고, 다시 테이블에 내려놓은 뒤 다시 집어 드는 전략을 사용했습니다. 이 "재파지(re-grasp)" 전략은 로봇 손의 종류에 따라 40%에서 64%의 걸림 현상을 해결해 냈습니다.

나쁜 소식 (그리고 중요한 교훈):
이 논문은 또한 무엇이 작동하지 않았는지에 대해서도 유명합니다. 연구진은 로봇이 무작위 동작을 탐색하며 배우도록 돕는 일반적인 학습 방법인 PPO를 사용해 보았습니다. 그들은 0.4mm라는 아주 미세한 간격에서 로봇의 무작위 "탐색" 동작이 너무 커서, 로봇이 부품을 끼우는 법을 배우기도 전에 부품을 깨뜨려 버린다는 것을 발견했습니다. 이는 마치 바늘귀에 실을 꿰기 위해 바늘을 실에 던지는 것과 같습니다. 제대로 될 리가 없으며, 결국 바늘을 부러뜨리게 될 것입니다.

또한, 로봇이 부서지기 직전까지 밀도록 하여 "완벽하게 최적화"되도록 가르치려 하면 오히려 더 자주 실패한다는 것도 발견했습니다. 로봇의 움직임에는 약간의 "오버슈트(overshoot, 목표치를 지나침)"가 있기 때문에, 부서지는 지점에 딱 맞춰 설정된 제한치는 여전히 부품을 깨뜨리는 결과를 초래합니다. 물체의 정체성에 기반하여 상사가 설정한 "안전한" 제한치가 치트 코드로 계산된 "완벽한" 제한치보다 실제로 더 나았습니다.

이것이 왜 중요한가

이 논문은 아직 실제 공장에서 이 작업을 수행하는 로봇을 만들었다고 주장하는 것이 아닙니다. 이는 모두 시뮬레이션입니다. 하지만 이는 강력한 아이디어를 증명합니다: 안전은 로봇이 언제 멈춰야 할지 똑똑하게 아는 데서 오는 것이 아니라, 로봇이 결코 넘을 수 없는 단단한 제한에서 온다는 것입니다.

"생각하는 것"(제한치를 설정하는 상사)과 "행동하는 것"(제한치를 강제하는 빠른 클램프)을 분리함으로써, 이 시스템은 로봇이 파괴적인 행동을 하지 않으면서도 문제를 해결할 수 있도록 보장합니다. 이는 섬세한 작업을 위해 필요한 것이, 적절한 힘을 추측할 수 있는 더 강력하고 똑똑한 AI를 만드는 것이 아니라, 로봇이 반드시 준수해야 하는 "힘의 예산"을 가지고서 어떻게 밀어야 하는지에 대해 더 똑똑해지는 것임을 보여줍니다.

결국, FORGE-plus는 섬세한 로봇 작업의 미래가 더 강하게 밀거나 더 똑똑하게 예측하는 것이 아니라, 로봇이 어떤 상황에서도 존중해야 하는 엄격한 규칙을 가지고 부드럽게 움직이도록 강제하는 시스템을 구축하는 데 있음을 시사합니다.

기술 요약: FORGE-plus

문제 정의

힘 조건부 강화 학습(Force-conditioned RL) 기술은 명령된 힘의 상한선( $F_{max}$ )을 준수함으로써 접촉이 빈번한 조립 작업에서 성공적인 성과를 보여왔다. 그러나 취약한 물체를 다루기 위해 이 기술을 배포하는 데 있어 두 가지 결정적인 격차가 남아 있다:

누가 상한선을 설정하는가? 기존 방식은 성공률을 극대화하기 위해 $F_{max}$ 를 자동 튜닝하는 경우가 많다. 이러한 접근 방식은 견고한 부품(예: 강철)과 취약한 부품(예: 나일론 또는 유리)을 모두 처리해야 하는 단일 시스템에서는 실패한다. 견고한 부품에 적합한 상한선은 후자의 부품을 파괴할 수 있기 때문이다.
실패 시 무엇을 할 것인가? 삽입이 실패했을 때 직관적인 복구 전략인 "더 세게 누르기"는 취약한 부품을 파괴하는 바로 그 동작이다. 기존의 비전 기반 실패 추론기(예: REFLECT, DoReMi)는 태스크 수준에서 작동하며, 시각적 픽셀에서는 보이지 않고 오직 힘의 궤적(force trace)에서만 명확히 드러나는 미묘한 실패 모드(예: 웨징(wedging) vs 크로스 스레딩(cross-threading)) 간의 차이를 놓치는 경우가 많다.

방법론: FORGE-plus 아키텍처

FORGE-plus는 LLM이 실시간 제어 권한을 갖지 않도록 설계된 2계층 시스템을 도입한다. 이 시스템은 Isaac Lab 내에서 강체 역학(rigid-body dynamics)과 모델링된 파손(breakage)을 사용하여 완전히 시뮬레이션 환경에서 작동한다.

1. 2계층 시스템

느린 계층 (Frozen LLM Supervisor):
- 예산 설정자 (Budget-Setter): 에피소드 시작 전, 텍로 구성된 고정된(frozen) LLM이 물체의 정체성(이름, 재질, 기하학적 태그)을 읽고 개별 물체당 힘 상한선( $F_{max}$ )을 출력한다. 이 모델은 이미지나 인스턴스별 파손 데이터를 보지 않는다.
- 복구 선택자 (Recovery-Selector): 실패가 감지되면, LLM은 압축된 텍스트 "힘 시그니처"(힘/토크 이력, 접촉 지속 시간, 슬립 이벤트로부터 유도됨)를 읽고 고정된 메뉴(예: retract_and_reapproach, wiggle_search, rotate_align, regrasp, abort)에서 복구 기동을 선택한다.
- 제약 조건: 이 메뉴에는 "상한선을 높이는" 옵션이 명시적으로 제외되어 있다. LLM의 출력은 서버 측에서 덮어쓰여져서 복구 과정 중에도 $F_{max}$ 가 불변임을 보장한다.
빠른 계층 (Force-Conditioned RL Skill):
- 행동 복제(Behavior Cloning) 및 DAgger을 통해 훈련된 힘 조건부 MLP 정책이 삽입을 실행한다.
- 하드 클램프 (Hard Clamp): 빠른 제어 루프(60–120 Hz) 내의 안전 클램프는 LLM이 설정한 $F_{max}$ 로 모든 명령된 힘을 포화(saturate)시킨다. 이를 통해 LLM이 물리적으로 가해지는 힘에 대해 직접적인 권한을 갖지 않도록 보장한다.
- 릴리스 헤드 (Release Head): 원시 관측값(raw observations)을 기반으로 물체 방출 여부를 결정하는 학습된 선형 헤드(주요 정책 트렁크를 우회함)이다.

2. 평가 설계 (비순환성)

평가는 취약성에 관한 순환 논증을 방지하도록 설계되었다:

숨겨진 파손 (Hidden Breakage): 파손 힘( $F_{break}$ )은 에피소드마다 분포에서 샘플링되며, 정책, LLM, 또는 시그니처 인코더에 의해 절대 관찰되지 않는다. 이는 오직 평가자에게만 보인다.
안전 불변성 (Safety Invariants): $F_{max}$ 는 복구 중에 고정되며, 힘의 권한은 엄격하게 빠른 제어 루프에 존재한다.

주요 기여

1. 아키텍처 및 벤치마크

본 논문은 물체별 취약성을 고려한 힘 예산 기반 조립을 위한 통합 아키텍처를 제시한다. 또한 비순환적 파손 지표와 두 가지 구별된 태스크를 포함하는 벤치마크를 도입한다:

취약한 병 배치 (Fragile Bottle Placement): 와인병을 랙에 삽입하는 작업 (파손 힘 $F_{break} \approx 22$ N인 시뮬레이션된 취약 클래스).
타이트한 간극의 기어 삽입 (Tight-Clearance Gear Insertion): 0.4 mm 직경 간극을 가진 기어를 삽입하는 작업 (시뮬레이션된 취약 ABS 기어, $F_{break} \approx 38 \pm 5$ N).
엔보디먼트 (Embodiments): 실험은 Robotiq 2F-140과 Franka Panda hand 두 그리퍼에서 수행된다.

2. 전체 사이클 결과

두 가지(취약 및 견고 클래스) 모두에 대해 훈련된 정책의 단일 통합 체크포인트("weight soup")는 다음을 달성했다:

클린 게이트 (Clean Gates): Robotiq 2F-140을 사용하여 두 클래스 모두에서 파손 없이 256/256회의 성공적인 클린 삽입을 달성했다.
릴리스 (Release): 256/256회의 성공적인 학습된 릴리스를 달이야냈으며, "잘못된 릴리스"(조기 또는 실패한 릴리스)는 발생하지 않았다.
물리적 흐름 (Physical Flow): 완전한 물리적 테이블 픽 플로우(텔레포테이션이나 운동학적 고정 없음)를 통해 평균 피크 삽입 힘 5.4 N으로 64/64 에피소드를 완료했다.

3. 복구 효능 vs 베이스라인

주입된 교란(림 웨징 및 5 mm 인그립 슬립) 하에서:

힘 시그니처 복구: 제안된 시스템은 특정 힘 시그니처를 올바른 복구 프리미티브(예: 기울어진 그리프의 경우 regrasp)로 라우팅함으로써 잼(jam)의 40%(Robotiq) 및 64%(Franka)를 복구했다.
Press-Harder 베이스라인: (Tactile-VLA의 발표된 동작을 모델링한) 이 베이스라인은 두 가지 뚜렷한 실패 모드를 보였다:
- Robotiq 2F-140: 100% 무익함(타임아웃). 기울어진 보어(bore)가 부하에 맞물리지 않아 힘 상승이 무용지물이었다.
- Franka Panda: 96% 파괴적. 힘을 높임으로써 취약한 부품을 파손시켰다.
비전-LLM 프록시: 비전 전용 추론기를 위한 메뉴 샘플링 프록시는 28% 및 32%의 낮은 성공률을 기록했다. 이는 기울어진 그리프의 힘 시그니처를 다른 실패와 구분하지 못했기 때문이다.

4. 발견으로서의 부정적 결과 (Negative Results)

본 논문은 작동하지 않는 것들을 엄격하게 보고한다:

PPO 실패: Robotiq 2F-140에서 0.4 mm 간극에 대한 온폴리시(on-policy) PPO 훈련은 실패한다. 깔때기 구조를 찾기 위해 필요한 탐색 노이즈가 본질적으로 취약한 부품에 파괴적이기 때문이다.
Tiny-Std Polish: 작동하는 BC 정책을 낮은 표준 편차의 PPO로 미세 조정하면 그래디언트 증폭으로 인해 20회 이내에 정책이 파괴된다.
오라클 예산 (Oracle Budget): 심지어 "오라클"이 $F_{max} = F_{break} - \epsilon$ 을 설정하더라도 50%의 파손이 발생했다. 이는 컨트롤러의 오버슈트가 예산을 초과하기 때문이다. 이는 안전한 예산이 단순히 파손 임계값이 아니라 컨트롤러의 오버슈트 분포를 고려해야 함을 입증한다.
릴리스 헤드 설계: 세 가지 자연스러운 릴리스 헤드 설계가 실패했다. 오직 입력 스킵 선형 헤드(트렁크를 우회하는 방식)만이 성공했다.

의의 및 주장

본 논문은 FOR-plus가 접촉이 빈번한 조립에서의 "누가 상한선을 설정하는가"와 "실패 시 무엇을 할 것인가" 문제에 대한 구조적 솔루션을 제공한다고 주장한다:

정체성 유래 예산: 물체의 정체성으로부터 도출된 보수적인 예산은 오라클 예산보다 우수하다. 이는 제어 오버슈트를 고려하여 특정 인스턴스의 파손 임계값을 알 필요 없이 안전을 보장하기 때문이다.
힘에 근거한 복구: 복구 전략은 비전이 아닌 힘 시그니처에 근거해야 한다. 힘 시그니처는 "regrasp"의 필요성(기울어진 그리프)을 다른 실패와 구분할 수 있는 유일한 신호이며, 비전 기반 선택보다 약 2배 높은 성능을 보인다.
"Press Harder"의 실패: 힘을 높이는 자연스러운 복구는 그리퍼와 실패 모드에 따라 무익하거나 파괴적일 뿐, 결코 올바른 해결책이 될 수 없음을 입증했다.
안전 분리: 안전은 LLM이 아닌 빠른 루프의 하드 클램프에 의해 보장된다. LLM은 오직 의미론적 모션 프리미티브의 선택자 역할을 할 뿐, 힘의 권한을 갖지 않는다.

저자들은 이 결과들이 강체 물리와 모델링된 파손을 사용하는 시뮬레이션 전용임을 강조한다. Sim-to-real 전이는 주장되지 않았으나, 기반이 되는 FORGE 스타일의 힘 조건화는 이전의 전이 성공 사례를 언급하고 있다. 본 연구는 취약한 조작을 위한 엄격한 벤치마크이자 향후 연구를 안내하기 위한 일련의 부정적 결과들을 제공한다.