Robo-Blocks: Generative Scaffolding in End-User Design and Programming of Social Robots

기술 요약: 로보-블록 – 사회성 로봇의 최종 사용자 설계 및 프로그래밍을 위한 생성형 발판

문제 제기

사회성 로봇의 프로그래밍은 계획 수립, 상호작용 설계, 프로그래밍 전문 지식을 통합해야 하므로 초보 최종 사용자에게 본질적으로 어렵습니다. 대규모 언어 모델 (LLM) 은 자연어에서 코드를 생성함으로써 희망을 제시하지만, 종종 중요한 프로그래밍 요소를 흐리게 하거나 설계자의 의도를 대체하여 기술 개발보다는 과도한 의존성을 초래합니다. 블록 기반 프로그래밍 (예: Blockly) 이나 내러티브 기반 설계 (예: 보디스톰링) 와 같은 기존 방법들은 문제의 일부 측면을 해결하지만, 초기 개념적 계획과 실행 가능한 로봇 행동 사이의 간극을 메우지는 못합니다. 고수준의 사회적 의도를 프로그래밍 가능한 행동으로 전환하는 과정을 완전히 자동화하지 않으면서도 이를 효과적으로 발판 (scaffold) 해주는 도구는 부재합니다.

방법론

저자들은 디자인을 통한 연구 (RtD) 접근법을 사용하여 로보-블록 (Robo-Blocks) 을 개발하고 평가했습니다. 로보-블록은 LLM 을 "생성형 발판"으로 활용하는 블록 기반 프로그래밍 환경입니다. 이 시스템은 React, Misty II REST API, 그리고 OpenAI 의 GPT-4o 를 기반으로 Misty II 로봇 플랫폼 위에 구축되었습니다.

로보-블록 워크플로는 상호작용 흐름과 맥락을 명확하게 하기 위해 설계된 4 단계 구조를 따릅니다:

1. 내러티브 생성: 사용자는 LLM 에이전트와 협력하여 로봇의 행동, 감정, 맥락을 설명하는 이야기를 공동으로 창작합니다. 인터페이스는 "내러티브 마일스톤"(캐릭터, 장소, 시간, 행동, 사건, 결말, 감정) 을 사용하여 입력을 구조화함으로써, 코딩 전에 의도를 명확히 표현하도록 사용자를 안내합니다.
2. 목표 생성: LLM 은 내러티브를 실행 가능한 프로그래밍 목표로 변환합니다. 각 목표에는 특정 프로그래밍 블록과 매개변수를 제안하는 선택적 힌트가 동반되어, 의도에서 구현으로의 전환을 가시화합니다.
3. 프로그래밍 및 시뮬레이션: 사용자는 Blockly 기반 인터페이스를 사용하여 프로그램을 구성합니다. 이전에 생성된 목표와 힌트는 반영을 지원하기 위해 계속 표시됩니다. 내장된 시뮬레이터를 통해 사용자는 배포 전에 로봇의 움직임, 표현, 음성을 시각화할 수 있습니다.
4. 테스트 및 배포: 사용자는 물리적 Misty 로봇에 연결하여 프로그램을 테스트합니다. 시스템은 반복을 장려하며, 물리적 실행이 시뮬레이션이나 내러티브 의도와 일치하지 않을 경우 사용자가 이전 단계로 돌아가도록 허용합니다.

사용자 연구:
자기 보고에 따르면 초보 수준의 프로그래밍 능력을 가진 14 명의 초보 참가자를 대상으로 연구가 수행되었습니다. 절차는 다음과 같았습니다:

• 사회적 상호작용에 대한 종이 스토리보드 작성.
• 로보-블록을 사용하여 내러티브 공동 작성, 목표 생성, 로봇 프로그래밍, 코드 배포.
• 데이터 수집에는 화면 녹화, 채팅 로그, 활동 로그, 최종 프로그램, 시스템 사용성 척도 (SUS) 및 USE 설문지, 반구조화 인터뷰가 포함되었습니다.

주요 기여

1. 새로운 접근법: 직관적인 사회적 내러티브에 프로그래밍을 기반을 두어 최종 사용자가 사회성 로봇 행동을 작성할 수 있도록 지원하는 내러티브 기반 생성형 발판 방법.
2. 시스템 설계: LLM 을 자율적 코드 생성기가 아닌 인지적 보조 도구로 작용하게 하는 4 단계 프로세스 (내러티브 → 목표 → 프로그래밍 → 배포) 를 구현한 로보-블록 환경의 개발.
3. 경험적 통찰: 생성형 발판이 최종 사용자 설계 및 프로그래밍 전략에 어떻게 영향을 미치는지에 대한 분석으로, 뚜렷한 사용자 페르소나와 사용 패턴을 밝혀냄.

결과

연구는 발판에 대한 의존도에 따라 세 가지 주요 사용자 페르소나를 식별했으며, 시스템 불일치에서 비롯된 네 번째 페르소나를 발견했습니다:

• 독립적 빌더: 도움을 요청하거나 힌트를 거의 사용하지 않고 내러티브와 코드에 대한 완전한 통제권을 유지한 사용자.
• 의존적 사용자: 내러티브 생성에 LLM 에 크게 의존하고 프로그램을 조립하기 위해 힌트를 단계별로 따르는 사용자.
• 협력적 사용자: 제안에 기반하여 내러티브를 수정하고 특정 코딩 작업을 안내하기 위해 힌트를 선택적으로 사용하는 하이브리드 접근법을 채택한 사용자.
• 좌절한 사용자: 발판 제안 (예: 특정 로봇 기능) 이 프로그래밍 환경의 실제 사용 가능한 블록과 충돌할 때 나타나는 페르소나. 이러한 불일치는 사용자가 존재하지 않는 기능을 찾게 하여 좌절과 참여 저하를 초래했습니다.

정량적 발견:

• SUS 점수: 평균 73.85 (SD = 14.78) 로 전반적으로 긍정적인 사용성을 나타냄.
• USE 하위 척도: 학습 용이성 (M = 5.85) 과 사용 용이성 (M = 5.14) 에서 높은 점수.
• 사용 패턴: 내러티브 단계에서 14 명 중 5 명이 도움을 요청했으며, 프로그래밍 단계에서는 14 명 중 11 명이 힌트를 사용했습니다. 그러나 14 명 중 4 명은 발판에 대한 불일치를 보고했는데, 주로 존재하지 않는 기능 (예: 존재하지 않는 타이머 블록 제안) 을 환각적으로 제안한 것이 주된 이유였습니다.

정성적 발견:
참가자들은 아이디어를 명확히 하고 창의적인 세부 사항을 추가한다는 점에서 내러티브 단계를 높이 평가했습니다. 그러나 LLM 이 제공하는 창의적 자유와 물리적 로봇의 제약 사이에는 긴장이 존재했습니다. 일부 사용자는 로봇이 보유하지 않은 기능을 제안함으로써 발판이 길을 잃게 만들었다고 느꼈으며, 이는 발판이 창의성을 돕지만 시스템 제약과 일치하지 않을 때 혼란을 초래할 수 있는 "양날의 검" 효과를 강조했습니다.

중요성 및 주장

이 논문은 생성형 발판이 추상적인 사회적 의도와 실행 가능한 행동 사이의 간극을 메워 초보 로봇 프로그래머를 효과적으로 지원할 수 있다고 주장합니다. 저자들은 다음과 같이 논합니다:

• 입구로서의 내러티브: 내러티브를 사용하면 초보자가 기술적 구현에 착수하기 전에 사회적 맥락과 캐릭터에 대해 추론할 수 있습니다.
• 추론의 가시성: 중간 표현 (목표 및 힌트) 을 노출함으로써 LLM 의 "블랙박스" 효과를 방지하여 사용자가 의도와 코드 간의 매핑을 검사, 수정 및 이해할 수 있게 합니다.
• 보정 필요성: 연구는 발판이 사용자의 기대와 실제 로봇 기능을 동적으로 보정해야 함을 강조합니다. 기능을 환각적으로 생성하는 정적 프롬프트는 신뢰와 참여를 훼손합니다.
• 설계 시사점: 효과적인 발판은 장벽을 낮추는 것뿐만 아니라 반성적 뉘앙스와 사용자 요구 및 작업 맥락에 따라 변화하는 적응형 지원을 통해 사용자가 창의적 목표를 시스템 제약과 일치하도록 적극적으로 도와야 합니다.

저자들은 내러티브 기반 발판의 잠재력을 성공적으로 입증했지만, 향후 연구는 스크립트된 행동의 한계를 해결하고 복잡하고 반응적인 사회성 로봇을 위한 더 적응적이고 비선형적인 발판 전략을 탐구해야 한다고 결론지었습니다.