기술 요약: 지속적인 공유 환경에서의 예의 바른 기대 (Courteous Anticipation)

문제 정의

본 논문은 지속적인 공유 환경에서 작동하는 다중 로봇을 위한 장기적 작업 계획(long-lived task planning)의 과제를 다룹니다. 이 설정에서 로봇들은 홀드아웃 시퀀스(held-out sequence)로부터 순차적으로 작업을 할당받으며, 한 작업의 종료 상태(terminal state)가 다음 작업의 초기 상태(initial state)가 됩니다.

표준 작업 계획기(task planner)는 현재 작업을 완료하기 위한 즉각적인 비용 최소화에만 집중하는 "근시안적(myopic)"인 특성을 가집니다. 이는 로봇이 자신이나 다른 로봇에게 할당될 미래 작업의 실행 비용을 증가시키는 종료 상태로 환경을 남겨두는 "이기적(selfish)"인 행동으로 이어집니다. 저자들은 로봇들이 서로 다른 능력(예: 높이, 내열성, 특수 도구)과 서로 다른 책임(responsibilities)을 가진 환경에서 이러한 부정적인 부작용이 시간이 지남에 따라 누적된다는 점을 식별했습니다. 예를 들어, 로봇이 물체를 동료가 접근할 수 없는 위치에 두거나 동료가 해결할 수 없는 상태로 두면, 나중에 시퀀스 도중에 비용이 많이 드는 개입(예: "도움" 동작)이나 우회 경로를 강요하게 됩니다.

기존의 기대 계획(anticipatory planning) 방법[11]–[13]은 로봇 자신의 미래 작업만을 고려함으로써 근시안적 계획보다 개선되었으나, 다중 로봇 맥락에서는 여전히 "이기적"입니다. 즉, 현재의 행동이 다른 에이전트의 제약 조건과 역량에 어떤 영향을 미치는지 고려하지 못합니다.

방법론: 예의 바른 기대 계획 (Courteous Anticipatory Planning)

저자들은 현재 작업의 즉각적인 비용과 모든 로봇이 공유하는 환경에 대한 집계된 기대 미래 비용을 공동으로 최소화하는 모델 기반 접근 방식인 **예의 바른 기대 계획(Courteous Anticipatory Planning)**을 제안합니다.

1. 목적 함수

단일 로봇의 기대 계획이 $V_{sg}(s_0) + \sum P(\tau')V_{\tau'}(s_g)$ (식 2)를 최소화하는 것과 달리, 제안된 목적 함수(식 3)는 모든 로봇 $R$의 기대 비용을 집계합니다:
$$s^*_g = \arg\min_{s'_g \in G_\tau} \left[ V^*_{s'_g}(s_0) + \sum_{r \in R} V^r_{A.P.}(s'_g) \right]$$
여기서 $V^r_{A.P.}(s'_g)$는 현재 계획의 종료 상태 $s'_g$로부터 시작하여, 해당 로봇의 특정 책임 분포에서 추출된 후속 작업을 완료하기 위해 로봇 $r$이 치러야 할 기대 비용을 나타냅니다.

2. 인수 분해된 정식화 및 추정기 (Factored Formulation and Estimators)

모든 로봇에 걸친 가능한 모든 미래 작업 시퀀스를 열거하는 것은 조합 폭발로 인해 계산적으로 불가능하므로, 직접적인 결합 기대 미래 비용 계산은 어렵습니다. 이를 해결하기 위해 저자들은 문제를 독립적인 로봇별 추정기로 분해합니다:

• 학습 보조 추정 (Learning-Augmented Estimation): 각 로봇 $r$에 대해, $V^r_{A.P.}(s'_g)$를 추정하기 위한 그래프 신경망(GNN)을 독립적으로 학습시킵니다.
• 학습 데이터: GNN은 표준 계획기(FF-A*를 사용하는 FastDownward)를 사용하여 로봇의 책임 분포로부터 생성된 데이터를 사용하여 오프라인에서 학습됩니다. 입력값은 환경 상태를 나타내는 희소 장면 그래프(sparse scene graph)입니다.
• 모듈성 (Modularity): 추정기들이 각 로봇의 구조적 제약과 책임에 대해 독립적으로 학습되기 때문에, 시스템에 새로운 로봇을 추가하려면 해당 로봇의 추정기만 학습시키면 됩니다. 기존 추정기를 재학습하거나 결합 롤아웃(joint rollouts)을 수행할 필요가 없습니다.

3. 계획 알고리즘

계획기(알고리즘 1)는 다음과 같이 작동합니다:

1. 후보 생성 (Candidate Generation): "집중 샘м플링(focused sampling)" 절차를 사용하여, 현재 작업을 충족하는 다양한 후보 계획 세트를 생성합니다. 이는 배치 술어(placement predicates)를 작업에 추가하여 구조적으로 구별되는 계획을 생성하는 과정을 포함합니다 (예: 더t한 그릇을 카운터에 놓는 것과 싱크대에 놓는 것의 차이).
2. 비용 평가 (Cost Evaluation): 각 후보 계획에 대해, 계획기는 모든 로봇별 GNN 추정기에 질의하여 기대 미래 비용을 얻습니다.
3. 선택 (Selection): 즉각적인 비용과 집계된 미래 비용의 합이 최소가 되는 계획을 선택합니다.

주요 기여

1. 계획의 장애물 식별: 본 논문은 표준 작업 계획에서 "예의(courtesy)"의 부재가 지속적인 공유 환경에서 누적 비용을 증가시키는 부정적인 부작용을 만든다는 점을 강조하며, 이는 이질적인 로봇 역량에 의해 더욱 악화됩니다.
2. 예의 바른 기대 프레임워크: 모든 에이전트에 대한 집계된 기대 미래 비용과 즉각적인 비용을 최소화하는 계획 목적 함수를 도입했습니다. 이는 독립적인 로봇별 추정기를 사용하는 인수 분해된 정식화를 통해 달성되며, 조합적 결합 롤아웃을 피합니다.
3. 모듈형 배포: 새로운 로봇을 추가하거나 제거할 때 해당 로봇의 추정기만 학습하면 되는 모듈형 배포를 지원합니다.
4. 복잡한 도메인에서의 평가: 저자들은 두 가지 PDDL 기반 도메인에서 방법을 평가했습니다:
   • 가정 환경 (Home Environment): 유사한 능력을 가졌으나 책임이 다른 두 대의 로봇.
   • 레스토랑 환경 (Restaurant Environment): 서로 다른 물리적 능력(예: 키가 크고 내열성이 있는 요리사, 서버, 청소부)과 서로 다른 책임을 가진 세 대의 로봇.

실험 결과

이 방법은 긴 작업 시퀀스(가정 환경의 경우 20개 작업, 레스토랑 환경의 경우 로봇당 10개 작업)에 대해 두 가지 베이스라인과 비교 평가되었습니다:

• Myopic (근시안적): 즉각적인 비용만을 최소화하는 고전적 계획(FastDownward).
• Selfish Anticipatory (이기적 기대): 작동 중인 로봇 자신의 미래 작업만을 고려하는 계획.

정량적 개선 사항:

• 가정 환경 (로봇 2대): 예의 바른 계획은 Myopic 대비 10.43%, Selfish Anticipatory 대비 4.03% 총 비용을 절감했습니다.
• 레스토랑 환경 (로봇 3대): 예의 바른 계획은 Myomyic 대비 17.41%, Selfish Anticipatory 대비 13.24% 총 비용을 절감했습니다.
• 모듈성 검증: 2대 로봇 설정에서 학습된 추정기가 재학습 없이 3대 로봇 설정에서 성공적으로 재사용됨으로써, 이 접근 방식의 플러그 앤 플레이(plug-and-play) 특성을 확인했습니다.
• 주도성 (Proactivity): "청소부" 로봇이 명시적인 작업 없이 유휴 시간 동안 행동할 수 있는 시간 예산을 받은 시나리오에서, 예의 바른 접근 방식은 유휴 로봇이 아무 조치도 취하지 않는 베이스라인에 비해 전체 시스템 비용을 31.4% 감소시켰습니다.

의의 및 주장

본 논문은 **예의 바른 기대(courteous anticipation)**가 공유 환경에서의 효과적인 순차적 작업 계획에 필수적이라고 주장합니다. 저자들은 표준 계획이 다른 에이전트의 "물리적 제약"과 "책임"을 무시하기 때문에 이러한 맥락에서 실패한다고 주장합니다.

본 연구의 의의는 다음과 같습니다:

1. 이질성이 가치를 증폭함: 로봇들이 서로 다른 능력(예: 레스토랑 설정)을 가질 때 예의 바른 계획의 이점이 크게 증폭되는데, 이는 한 로봇의 행동이 다른 로봇의 기능 수행 능력을 직접적으로 지원하거나 차단할 수 있기 때문입니다.
2. 인수 분해를 통한 확장성: 결합 비용 추정을 독립적인 로봇별 모델로 인수 분해함으로써, 이 접근 방식은 결합 정책 학습이나 전수 롤아웃의 복잡성을 피하고 계산적으로 실행 가능하며 확장 가능합니다.
3. 행동 변화: 이 접근 방식은 로봇이 자신의 행동이 동료에게 미칠 다운스트림 영향을 적극적으로 고려하도록 유도합니다 (예: 더러운 팬을 청소부가 접근할 수 없는 스토브 위에 두는 대신, 카트에 두는 것). 이는 비용이 많이 드는 "도움" 개입의 필요성을 줄여줍니다.

저자들은 현재 프레임워크가 순차적인 작업 도착을 가정하며, 다른 에이전트에 의한 실시간 환경 변화나 동시 실행(concurrent execution)을 아직 처리하지 못한다는 한계를 인정했습니다. 향업 연구로는 이를 동시 실행 환경으로 확장하는 것이 제안되었습니다.