🤖 machine learning

Learning to build covering structures with continuous adjustments

본 논문은 로봇이 미리 정의된 계획 없이 그래프 신경망과 확장된 Soft Actor-Critic 알고리즘을 활용하여 하이브리드 이산-연속 액션 공간을 처리하고 시뮬레이션에서 물리적 하드웨어로 성공적으로 전이함으로써, 실시간으로 시퀀스를 생성하여 복잡한 구조물을 적응적으로 구축할 수 있게 하는 강화 학습 프레임워크인 HSAC를 제시한다.

원저자: Gabriel Vallat, Maryam Kamgarpour, Stefana Parascho

게시일 2026-09-09

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Gabriel Vallat, Maryam Kamgarpour, Stefana Parascho

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇이 미리 그려진 경직된 청사진을 따르는 것이 아니라, 과정 속에서 발생하는 모든 미세한 흔들림과 불완전함에 적응하며 스스로 길을 찾아가며 복잡한 구조물을 건설할 수 있는 세상을 상상해 보십시오. 이것은 로봇 건설이 약속하는 미래로, 재료를 더 효율적으로 사용하고 인간의 손이나 전통적인 기계로는 달성하기 어려운 형태를 만들어내는 것을 목표로 합니다. 그러나 커다란 장애물이 항상 가로막고 있었습니다. 바로 현실 세계는 무질서하다는 점입니다. 아무리 정밀한 계획이라도 물리적 재료에는 미세한 차이가 존재하며, 기계는 작은 오류를 범할 수 있습니다. 전통적인 건설 방식에서는 블록이 단 0.1밀리미터만 어긋나게 놓여도 전체 계획을 폐기하고 처음부터 다시 시작해야 하거나, 최악의 경우 구조물이 무너질 수도 있습니다. 현재의 방식들은 예측 불가능한 물리적 실체의 특성을 고려할 수 없는 고정된 지침에 의존하기 때문에, 이러한 피할 수 없는 실수에 적응하는 데 어려움을 겪습니다.

연구진은 로봇이 건설하는 법을 배우는 새로운 방법을 개발했는데, 이는 '마스터 플랜'이라는 개념 자체를 버리는 방식입니다. 대신, 그들의 로봇은 대본을 따르는 대신 시행착오를 통해 건설하는 법을 배웁니다. 이는 '강화 학습(reinforcement learning)'이라고 알려진 인공지능의 한 종류를 사용합니다. 이 접근 방식에서 로봇은 직접 해보며 배우는 학생처럼 행동합니다. 블록을 놓아보고 어떤 결과가 발생하는지 확인하며, 만약 구조물이 안정적이면 보상을 받고, 만약 흔들리거나 쓰러지면 그 실수로부터 배웁니다. 연구진은 특정 과제에 집중했습니다. 바로 두 대의 로봇이 협력하여 아치형 구조를 만드는 것입니다. 한 로봇은 블록을 배치하고, 다른 한 로봇은 구조물이 넘어지지 않도록 자유로운 끝부분을 붙잡아 줍니다. 이 설정은 매우 섬세합니다. 구조물은 항상 불안정한 경계에 놓여 있으며, 똑바로 서 있기 위해서는 끊임없이 미세한 조정을 필요로 합니다.

그들의 발견의 핵심은 로봇이 두 가지 유형의 결정을 동시에 내릴 수 있게 하는 새로운 알고리즘입니다. 즉, 어떤 종류의 블록을 사용할지 선택하는 것과 정확히 어디에 배치할지를 결정하는 것입니다. 이는 매우 어려운 문제인데, 왜냐하면 블록의 종류와 배치 위치가 서로 깊게 연결되어 있기 때문입니다. 특정 블록에 가장 적합한 위치가 다른 종류의 블록에는 최악의 위치가 될 수 있습니다. 이전의 방법들은 문제를 단순화하거나 경직된 계획을 고수함으로써 이를 해결하려 했지만, 연구진은 이러한 접근 방식이 종종 최적의 해답을 찾지 못하고 국소적인 해결책(local solutions)에 갇히게 된다는 것을 발견했습니다. 그들의 새로운 방식은 '하이브리드 소프트 액터-크리틱(hybrid soft actor-critic)' 알고리즘이라 불리며, 건설 과정을 로봇과 구조물 사이의 지속적인 대화로 취급합니다. 이를 통해 로봇은 다양한 가능성을 탐색하며, 단순히 무엇이 작동하는지뿐만 아니라 상황이 약간 잘못되었을 때 어떻게 회복하는지도 배울 수 있습니다.

이를 구현하기 위해 연구진은 구조를 단순한 좌표 목록이 아니라, 도시들이 도로로 어떻게 연결되어 있는지를 보여주는 지도와 유사한 '연결 네트워크'로 표현했습니다. 이러한 그래프 기반의 관점은 로보트가 구조물이 공간상에서 어떻게 회전하거나 이동하더라도 그 형태를 이해할 수 있게 도와줍니다. 이 시스템의 핵심 혁신은 로봇이 어떤 블록을 고를지에 대한 결정이 어디에 둘지에 대한 결정과 혼동되지 않도록 정보를 조직하는 특정한 방식이었습니다. 정보를 정교하게 구조화함으로써, 로봇은 압도당하지 않고 방대한 수의 가능성을 탐색하는 법을 배울 수 있었고, 결국 다른 방식들이 놓쳤던 안정적인 아치를 향한 경로를 찾아냈습니다.

연구진은 먼저 시뮬레이션 환경에서 시스템을 테스트했는데, 이곳에서는 수천 번의 실험을 빠르게 수행할 수 있었습니다. 그들은 자신들의 새로운 알고리즘을 기존 방식과 비교하였고, 새로운 방식이 학습 능력이 현저히 뛰어나다는 것을 발견했습니다. 기존 방식은 종-종 최적이 아닌 해결책의 루프에 갇혀 완벽한 아치에 도달하지 못했지만, 새로운 시스템은 일관되게 더 나은 건설 방식을 찾아냈습니다. 또한 이 시스템은 견고했습니다. 즉, 연구진이 설정을 변경하거나 더 많은 종류의 블록을 추가하여 과제를 어렵게 만들더라도 잘 작동했습니다. 시스템은 학습 능력을 잃지 않고 최대 10가지의 서로 다른 블록 유형을 처리할 수 있었으며, 이는 더 복잡한 작업으로 확장 가능하다는 것을 보여주었습니다.

이러한 학습이 실제 세계로 어떻게 전이될 수 있는지 증명하기 위해, 연구진은 두 대의 산업용 로봇과 3D 프린팅된 플라스틱 블록을 사용하여 물리적 실험 장치를 구축했습니다. 그들은 작업 공간 위에 카메라를 설치하여 블록이 놓일 때마다 위치를 추적했습니다. 로봇은 카메라의 데이터를 사용하여 구조에 대한 이해를 업데이트하고, 학습한 내용을 바탕으로 다음 블록을 어디에 놓을지 결정했습니다. 그 결과, 실시간으로 아치가 성공적으로 구축되었으며, 로봇은 구조물이 성장함에 따라 동작을 조정했습니다. 연구진이 이 적응형 건설 과정을 사전에 모든 계획을 계산하는 전통적인 방식과 비교했을 때, 적응형 방식이 훨씬 더 우수한 성능을 보였습니다. 학습 로봇이 만든 구조물은 의도한 형태를 유지했지만, 사전 계획된 버전은 피할 수 없는 작은 오류들로 인해 경로에서 벗어났습니다.

이 연구는 로봇이 완벽한 계획에 세상을 맞추려 노력하는 대신, 실시간으로 물리적 세계에 적응하며 복잡한 구조물을 건설할 수 있음을 보여줍니다. 로봇이 자신의 실수와 성공으로부터 배우도록 함으로써, 연구진은 더 탄력적이고 효율적이며, 무질서한 물리적 현실을 다룰 수 있는 건설의 길을 제시했습니다. 물리적 실험의 성공은 이 접근 방식이 결국 플라스틱에서 석재에 이르기까지 다양한 재료로 활용되어, 기계가 균형의 미묘한 기술을 이해하며 아름답고도 강한 구조물을 만들어내는 데 쓰일 수 있음을 시사합니다.

기술 요약: 연속적 조정을 통한 덮개 구조물 구축 학습

문제 정의
로봇 건설은 재료 효율성과 복잡한 기하학적 형상 생성을 위한 잠재력을 제공하지만, 현재는 경직되고 고정밀한 사전 계획에 의해 제약을 받고 있다. 물리적 제작은 본질적으로 공차, 부정확성 및 예기치 않은 변화를 수반하며, 이는 이상적인 계획과 불일치를 일으켜 치명적인 실패나 비용이 많이 드는 수정으로 이어질 수 있다. 기존의 계획 없는 방식들은 공간을 이산화하거나 범위를 2D 구조로 제한하는 것과 같은 강력한 단순화에 의존하거나, 복잡한 환경에서의 물리 기반 안정성 검사를 위한 계산 비용 문제로 어려움을 겪는다. 또한, 현재의 강화 학습(RL) 접근 방식은 로봇 건설에 필요한 혼합 행동 공간(mixed action spaces), 즉 에이전트가 이산적인 블록 유형을 선택하는 동시에 연속적인 배치 파라미터를 결정해야 하는 특수한 과제에 어려움을 겪는다. 이러한 결정들은 서로 결합되어 있으며, 최적이 아닌 선택은 회복 불가능한 구조적 붕괴를 초래할 수 있다.

방법론
저자들은 건설을 제어 가능한 동적 시스템으로 취급하여, 미리 정의된 계획을 따르는 대신 각 타임 스텝마다 적응적으로 건설 시퀀스를 생성하는 모델 프리(model-free) 강화 학습 프레임워크를 제안한다.

상태 표현(State Representation): 구조물은 레이블이 지정된 이종 그래프( $G_s$ )로 모델링된다. 노드는 현재 블록( $N_b$ ), 추가 가능한 블록 유형( $N_a$ ), 그리고 목표 영역( $N_o$ )을 나타낸다. 엣지는 이러한 노드들을 연결한다. 결정적으로, 이 방법은 각 블록에 참조 프레임을 부착하고 글로벌 좌표계 대신 상대적 위치로 엣지에 레이블을 붙인다. 이러한 설계는 상태 표현이 회전, 이동 및 순열에 대해 불변하도록 보장하여 에이전트가 더 효율적으로 학습할 수 있게 한다.
행동 공간(Action Space): 행동 공간은 하이브리드 형태이다. 에이전트는 먼저 이산적인 블록 유형( $a \in \{1, \dots, N\}$ )을 선택한 다음, 연속적인 배치 파라미터( $u \in \mathbb{R}^4$ )를 결정한다. 연속 파라미터는 2D 평행 이동과 새로운 블록을 이전 블록에 대해 정렬하기 위한 각도(사인 및 코사인으로 표현됨)를 정의한다.
알고리즘 (HSAC): 저자들은 혼합 행동 공간에서 작동하는 Soft Actor-Critic (SAC) 알고리즘의 확장판인 **Hybrid Soft Actor-Critic (HSAC)**을 도입한다.
- 정책 분해(Policy Decomposition): 정책은 이산적 구성 요소( $\pi^d_\phi(a|s)$ )와 연속적 구성 요소( $\pi^c_\phi(u|a,s)$ )로 분해된다. 알고리즘은 이들을 별도의 엔트로피 계수( $\alpha_d$ 및 $\alpha_c$ )를 사용하여 각각 최적화하며, 이는 이산 정책이 결정론적 행동으로 붕괴되는 현상(혼합 행동 설정에서 흔히 발생하는 실패 모드)을 방지한다.
- 그래프 신경망 (GNNs): 상태는 특징을 추출하기 위해 GNN(구체적으로 Transformer 컨볼루션 네트워크)을 사용하여 처리된다.
- Q-함수를 위한 단방향 엣지: 핵심적인 기술적 참신함은 상태 노드와 행동 노드를 연결하는 입력 그래프의 단방향 엣지(unidirectional edges) 사용이다. 이러한 구조적 귀납 편향(inductive bias)은 동일한 연속 파라미터에 대해 서로 다른 이산 행동의 Q-값 간의 독립성을 강제하며, 이를 통해 표준 Deep Q-Network (DQN)를 혼합 공간으로 확장할 때 발견되는 과잉 매개변수화 문제를 해결한다.
시뮬레이션 환경: 환경은 안정성 검사를 위해 강체 블록 분석(Rigid Block Analysis, RBA)을 사용한다. 전이 함수는 블록을 배치하고, 지지력을 제거하며, 붕쇄 여부를 확인하는 과정을 시뮬레이션한다. 보상은 덮인 면적에 비례하며, 목표 영역을 성공적으로 가로질렀을 때 종단 보상을 부여한다.

주요 기여

HSAC 알고리즘: 비용이 많이 드는 물리 시뮬레이션 맥락에서 혼합 연속-이산 행동 공간을 위한 최초의 샘플 효율적인 학습 알고리즘이다. 이 알고리즘은 정책 비용을 분리하고 별도의 엔트로피 계수를 활용함으로써 SAC를 확장한다.
그래프 기반 귀납 편향: 상대적 참조 프레임과 행동 공간으로 향하는 단방향 엣지를 갖춘 그래프 구조의 상태 표현을 도입했다. 이는 기하학적 변환에 대한 불변성을 보장하고, Q-함수의 구조적 독립성을 강제하여 안정적인 학습을 가능하게 한다.
실제 환경 검증: 3D 프린팅된 블록을 사용하는 물리적 2로봇 설정(ABB GoFa 암)에 성공적으로 배포하여, 시뮬레이션에서 학습된 정책이 폐루프 실행을 통해 실제 하드웨어로 전이될 수 있음을 입증했다.

결과

베이스라인 대비 성능: HSAC는 기존의 최첨단 방식인 hybrid-PPO (HPPO)에 비해 현저히 높은 점근적 성능(asymptotic performance)을 보여준다. HSAC의 단계는 계산 시간이 더 오래 걸리지만, 알고-리즘은 더 나은 정책으로 수렴하며 HPPO가 실패하는 지역 최적점(local minima)에 빠지는 것을 방지한다.
강건성 및 확장성: 알고리즘은 하이퍼파라미터 선택에 대한 강건성을 보이며, 성능 저하 없이 최대 10개의 이산 블록 유형까지 효과적으로 확장 가능하다. 또한 마찰 계수의 변화와 같은 다양한 환경 역학에 적응한다.
적응성: 섭동 실험에서 정책은 건설 중 강제된 블록 배치 편차를 성공적으로 보정하였으며, 그 결과 섭동이 없는 베이스라인과 거의 동일한 구조물을 만들어냈다.
물리적 실행: 물리적 프로토타입에서 폐루프 HSAC 시스템은 아치형 구조를 성공적으로 구축했다. 개방 루프(사전 계획된) 베이스라인과 비교했을 때, 폐루프 시스템은 목표 평면과의 정렬을 더 잘 유지하였으며, 이는 실제의 부정확성을 처리하는 능력을 확인시켜 주었다.

의의
본 논문은 이 연구가 계획 없는 로봇 건설을 향한 중요한 진전임을 주장한다. 경직된 사전 계획에서 벗어나 적응형 모델 프리 RL을 활용함으로써, 이 방법은 물리적 제작의 내재된 불확실성을 수용한다. 그래프 구조의 상태, 혼합 행동 Q-함수를 위한 단방향 엣지 아키텍처, 그리고 HSAC 알고리즘의 결합은 이산적 결정과 연속적 결정을 결합하는 로보틱스 문제에 대한 일반화 가능한 프레임워크를 제공한다. 시뮬레이션에서 물리적 2로봇 시스템으로의 성공적인 전이는 건식 접합 블록을 사용하여 아치와 같은 복잡하고 안정적인 구조물을 구축하는 데 있어 이 접근 방식의 실질적인 생존 가능성을 입증한다.

기술 요약: 연속적 조정을 통한 덮개 구조물 구축 학습

유사한 논문