Freehand Sketching for End-User Programming of Robot Swarms

기술 요약: 로봇 군집의 엔드 유저 프로그래밍을 위한 자유형 스케치(Freehand Sketching)

문제 정의
로봇 군집이 비전문가 사용자와의 상호작용이 필요한 영역(예: 교육, 공공 시연, 예술)으로 확장됨에 따라, 중요한 과제가 발생하고 있다. 즉, 로봇 공학, 제어 이론 또는 프로그래밍에 대한 전문 지식이 없는 개인이 어떻게 다중 로봇 시스템에 집단적 의도를 효과적으로 전달할 수 있는가 하는 점이다. 기존의 인간-군집 상호작용(HSI) 인터페이스는 주로 항법, 궤적 생성 또는 작업 할당에 집중하거나, 미리 정의된 명령 및 제스처에 의존한다. 사용자가 군집이 집단적으로 구현해야 할 기하학적 형상을 직관적이고 제약 없는 입력을 통해 직접 지정할 수 있게 해주는 상호작용 패러다임은 부족한 실정이다. 또한, 스케치를 형상(formation)으로 변환하는 계산 방법론은 존재하지만, 자유형 스케치가 엔드 유저를 위한 상호작용 추상화로서 갖는 효용성, 특히 비전문가를 대상으로 한 사용성 및 학습 용이성에 대해서는 아직 검증되지 않았다.

방법론
본 논문은 인간의 공간적 명시와 자율적인 군집 구현을 통합하는 "스케치-투-스و웜(sketch-to-swarm)" 프레임워크를 제안하고 평가한다. 방법론은 세 가지 주요 기술 구성 요소로 이루어진다:

1. 스케치 처리 및 형상 구축:

   • 사용자 입력은 자유형 드로잉 이미지($I$)로 캡처된다.
   • 시스템은 입력 변동에 대한 민감도를 줄이기 위해 LoG(Laplacian of Gaussian) 에지 검출을 적용하여 윤곽선을 추출한다.
   • Shi-Tomasi 특징점 검출을 통해 이러한 윤곽선을 따라 임계 지점(코너)을 식별함으로써 압축된 후보 형상 노드 세트를 생성한다.
   • 이 지점들은 이미지 좌표에서 물리적 로봇 작업 공간으로 스케일링되며, 물리적 로봇의 제약 조건과 호환되도록 최소 분리 거리($d_{min}$)를 기준으로 필터링된다.
   • 결과로 도출된 $n$개의 타겟 지점($q_i$)은 타겟 구성 행렬 $Q$를 형성한다. 에지가 원하는 에이전트 간 거리($d_{ij}$)를 나타내는 강체 형상 그래프 $G=(V, E)$가 구축된다. 이 그래프는 전역적인 평행 이동 및 회전까지 보존하도록 무한소 강성(infinitesimally rigid)을 갖도록 설계된다.

2. 로봇-형상 할당:

   • 시스템은 가용한 $N$개의 물리적 로봇을 $n$개의 타겟 노드에 매핑하기 위해 이진 선형 할당 문제를 해결한다.
   • 비용 함수는 로봇 위치($p_j$)와 타겟 지점($q_i$) 사이의 유클리드 거리를 최소화한다.
   • 헝가리안 알고리즘(Hungarian algorithm)이 채택되어 각 로봇이 정확히 하나의 노드에 할당되도록 함으로써 전역 최적 할당을 보장한다.

3. 반사 없는 분산 형상 실행:

   • 할당이 완료되면, 각 로봇은 인접한 이웃과의 상대적 거리에 기반하여 위치를 조정하는 분산 거리 기반 형상 제어 법칙을 실행한다.
   • 핵적인 혁신: 거리 제약 조건은 반사(reflection)에 대해 불변이므로, 군집은 이론적으로 의도한 형상의 미러링된 버전(예: 뒤집힌 "a")으로 수렴할 수 있다. 이를 방지하기 위해 할당 과정에서 반사 없는 결과를 포함한다. 할당 시 비공선적(non-collinear) 점들의 삼각 관계에서 방향 각도의 부호를 보존함으로써, 시스템은 전역 평행 이동과 회전은 허용하되 의도하지 않은 반사는 제외하여 사용자의 스케치가 가진 의미론적 방향성을 올바르게 유지하도록 보장한다.

주요 기여
본 논문은 세 가지 구체적인 기여를 한다:

1. 상호작용 추상화: 비전문가 사용자가 전통적인 프로그래밍이나 사전 정의된 형상 라이브러리 없이 자유형 드로잉을 통해 형상 수준의 의도를 전달할 수 있는 스케치 기반 인터페이스를 도입한다.
2. 사용자 연구: 20명의 참가자를 대상으로 시스템의 지각된 사용성 및 학습 용이성을 평가하는 사용자 연구를 제시한다.
3. 물리적 검증: 물리적 Robotarium 테스트베드에서 42개의 자가 지정 형상을 통해 시스템의 효용성을 입증하였으며, 모든 형상이 사용자가 지정한 기하학적 구조로 성공적으로 수렴하였다.

결과
연구에는 20명의 참가자(다양한 공학 및 과학 배경을 가진 학생 및 연구원)가 참여하여 42개의 기하학적 형상을 생성하였다.

• 사용성 지표: 인터페이스는 평균 시스템 사용성 척도(SUS) 점수 84.25 (SD = 15.24)를 기록하였으며, 이는 일반적인 평균 사용성 기준치인 68을 크게 상회한다. 이는 높은 지각된 사용성을 나타낸다.
• 학습 용이성: 참가자들은 시스템을 배우기 쉽다고 평가하였으며(항목 7 평균: 4.55/5), 사용에 대한 높은 자신감을 보고하였다(항목 9 평균: 4.40/5).
• 시스템 성능: 42개의 제출된 형상 모두 엄격한 오차 허용 범위($| \|p_i - p_j\|_2 - d_{ij} | \le 0.025$ m) 내에서 타겟 구성으로 수렴하였다. 의도하지 않은 반사 구현은 관찰되지 않았으며, 이는 반사 없는 할당 전략의 유효성을 확인해 준다.
• 참여도: 참가자의 65%가 단 한 번의 필수 실행을 넘어 자발적으로 더 많은 형상을 생성하며 반복 수행을 하였다.

의의 및 주장
본 논문은 자유형 스케칭이 인간-군집 협업을 위한 직관적인 상호작용 추상화 역할을 수행하며, 비전문가가 자원 할당, 군집 역학 또는 저수준 제어 파라미터에 대해 고민하지 않고도 집단적 행동을 지정할 수 있게 한다고 주장한다. 결과는 이 패러다임이 접근 가능한 엔드 유저 프로그래밍을 위한 로봇 군집 제어의 타당성을 뒷받침한다.

저자들은 다음과 같이 범위를 제한하여 신중하게 주장한다:

• 평가는 주로 대학생 및 연구원으로 구성된 집단을 대상으로 수행되었으므로, 광범위한 비기술적 대중을 완전히 대표하지 못할 수 있다.
• 본 연구는 정적 평면 형상에 초점을 맞추었으며, 본 논문은 추가 연구 없이 동적 행동이나 3D 형상에 대한 적용 가능성을 주장하지 않는다.
• 시스템은 고수준의 인간 의도와 저수준의 군집 실행 사이의 간극을 성공적으로 메우지만, 저자들은 인터-페이스가 덜 직관적이라고 느낀 사용자들을 위해 개선된 상호작용 단서가 여전히 필요할 수 있음을 언급한다.

향후 과제로는 이 상호작용을 더 넓은 비기술적 인구로 확장하는 것, 형상 제어를 넘어선 군집 행동, 그리고 지속적인 인간 참여형(human-in-the-loop) 통합 등이 제시되었다.