💻 computer science

M2HRI: An LLM-Driven Multimodal Multi-Agent Framework for Personalized Human-Robot Interaction

이 논문은 각 로봇에 고유한 성격과 장기 기억을 부여하고 이를 기반으로 조율하는 LLM 기반의 다중 에이전트 프레임워크 M2HRI 를 제안하며, 이를 통해 다중 로봇 간 상호작용의 개인화와 사회적 적합성을 크게 향상시킬 수 있음을 105 명을 대상으로 한 사용자 연구를 통해 입증했습니다.

원저자: Shaid Hasan, Breenice Lee, Sujan Sarker, Tariq Iqbal

게시일 2026-04-15

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shaid Hasan, Breenice Lee, Sujan Sarker, Tariq Iqbal

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🤖 1. 왜 이 연구가 필요할까요? (문제 상황)

지금까지 우리가 본 로봇들은 대부분 **"똑같은 복제인간"**처럼 행동했습니다.

예시: 병원에 로봇이 두 대 들어와도, 둘 다 똑같은 목소리로 "안녕하세요"라고 하고, 똑같은 반응을 합니다. 마치 두 대의 똑같은 세탁기가 나란히 있는 것과 비슷하죠.
문제점: 사람들은 로봇이 서로 다른 '성격'을 가지고 있고, 서로의 이야기를 기억하며, 서로 배려하는 모습을 보고 싶어 합니다. 하지만 기존 기술은 로봇들이 서로 누가 먼저 말해야 할지 혼란스러워하거나, 인간이 "아, 이 로봇은 저 로봇과 똑같네"라고 느끼게 만들었습니다.

💡 2. M2HRI 는 무엇인가요? (해결책)

연구진은 LLM(거대 언어 모델) 기술을 이용해 로봇에게 **'인간 같은 개성'**과 **'기억력'**을 심어주었습니다.

이 시스템을 두 명의 배우가 무대 위에서 공연하는 상황으로 비유해 볼까요?

성격 (Personality): 한 로봇은 **"활기차고外向적인 친구 (외향형)"**이고, 다른 로봇은 **"조용하고 신중한 친구 (내향형)"**입니다. 마치 한 명은 유쾌한 코미디언이고, 다른 한 명은 차분한 상담사 같은 역할입니다.
기억 (Memory): 로봇들은 인간이 과거에 좋아했던 음식이나 취미를 기억합니다. "어제 말씀하신 커피 취향을 기억나요?"라고 말하며 개인화된 대화를 나눕니다.
조정 (Coordination): 두 로봇이 동시에 말을 하면 소란스럽죠. 그래서 **무대 감독 (중앙 조정자)**이 있습니다. 감독은 "지금 이 말은外向적인 로봇이 하는 게 좋겠어" 또는 "조용한 로봇이 위로해 주는 게 맞지"라고 판단해서, 누가 언제 말을 할지 정해줍니다.

🧪 3. 실험 결과 (무엇이 밝혀졌나요?)

연구진은 105 명의 참가자를 모아 이 로봇들을 시연하고 설문조사를 했습니다. 결과는 매우 흥미로웠습니다.

성격은 확실히 구별된다:
- 사람들은 로봇이 "활기찬 성격"인지 "신중한 성격"인지 눈으로 보고 바로 알아챘습니다.
- 특히 '감정 표현이 풍부한 성격' (예: 외향성, 신경증적 성향) 은 구별하기 매우 쉬웠지만, '성실함' 같은 성격은 짧은 대화에서는 구별하기 조금 어려웠습니다. (마치 짧은 만남에서 누군가의 '성실함'을 바로 알기 힘든 것과 비슷하죠.)
- 결론: 로봇에게 개성을 주면 사람들은 그 로봇을 '기계'가 아닌 '다른 존재'로 인식합니다.
기억력이 있으면 더 친근하다:
- 기억력이 있는 로봇은 사용자의 취향을 기억해서 **"어제 말씀하신 걸 기억해요"**라고 말했고, 사람들은 이를 훨씬 더 개인화되고 자연스러운 대화로 느꼈습니다.
- 기억이 없는 로봇은 매번 처음 만나는 사람처럼 대했기 때문에, 대화는 매끄럽지만 '차갑고 impersonal(비인격적)'하게 느껴졌습니다.
조정 (감독) 이 없으면 소란스럽다:
- 감독이 없는 상황 (조정 없음) 에서는 두 로봇이 동시에 말을 하거나 서로의 말을 끊는 등 엉뚱한 상황이 벌어졌습니다.
- 감독이 있는 상황에서는 누가 언제 말해야 할지 완벽하게 배분되어, 대화 흐름이 매우 매끄러웠습니다.
- 결론: 로봇들이 서로 배려하며 대화하려면 '중앙 통제 시스템'이 필수적입니다.

🌟 4. 핵심 요약 (한 줄로 정리)

"로봇이 인간과 잘 지내려면, 각자 다른 '성격'을 가지고 서로의 '기억'을 공유하며, '감독'의 지시에 따라 질서 있게 대화해야 한다."

이 연구는 앞으로 우리 집이나 병원에 여러 대의 로봇이 들어와도, 그들이 서로 다른 개성을 가진 '팀'처럼 행동하여 인간에게 더 따뜻하고 자연스러운 경험을 줄 수 있음을 증명했습니다.

한마디로:
이 논문은 **"로봇들도 친구처럼 서로 다른 성격과 기억을 가지고, 서로 배려하며 대화할 수 있다"**는 것을 보여준 멋진 연구입니다! 🤖✨

1. 문제 정의 (Problem)

기존의 다중 로봇 시스템 연구는 주로 로봇을 기능적으로 동일한 개체로 취급하여, 개별 로봇의 정체성 (Identity) 이 사용자의 인식에 미치는 영향과 이러한 개체성이 존재할 때 다중 로봇 간 조율이 어떻게 행동에 영향을 미치는지 간과해 왔습니다.

한계점: 단일 에이전트 HRI 는 성숙되었으나, 복잡한 사회적 환경 (가정, 병원 등) 에서는 여러 로봇이 동시에 상호작용해야 하는 경우가 많습니다. 이때 로봇들이 단순히 병렬로 작동하거나 기능적으로만 구분된다면, 사용자는 이를 '개별적인 사회적 에이전트'가 아닌 '동일한 기계'로 인식하게 되어 상호작용의 질이 떨어집니다.
핵심 과제: 다중 로봇 환경에서 로봇의 개별성 (성격, 기억) 을 모델링하고, 이를 기반으로 조율 (Coordination) 을 수행하여 자연스럽고 사회적으로 적절한 상호작용을 구현하는 프레임워크가 필요합니다.

2. 방법론 (Methodology)

저자들은 M2HRI라는 새로운 멀티모달 다중 에이전트 프레임워크를 제안했습니다. 이 프레임워크는 대규모 언어 모델 (LLM) 과 비전 - 언어 모델 (VLM) 을 기반으로 하며, 각 로봇 에이전트에 고유한 성격과 장기 기억을 부여하고, 이러한 차이를 기반으로 조율 메커니즘을 적용합니다.

A. 에이전트 아키텍처 (Agent Architecture)

각 로봇 에이전트 $a_i$ 는 정체성 프로파일 ( $\phi_i$ ) 과 인지 루프 ( $\Lambda_i$ ) 로 구성됩니다.

지각 (Perception): VLM 을 사용하여 사용자의 음성 ( $x_{speech}$ ) 과 비전 ( $x_{vision}$ ) 입력을 통합하여 현재 상황의 의미 있는 텍스트 관찰 ( $o_t$ ) 로 변환합니다.
기억 (Memory):
- 작업 기억 (Working Memory): 최근 대화 이력과 현재 상태 유지.
- 의미 기억 (Semantic Memory): 사용자, 객체, 환경에 대한 사실적 지식 저장.
- 에피소드 기억 (Episodic Memory): 과거 상호작용 경험, 사용자 선호도, 상황적 맥락 저장.
- 각 로봇은 독립적인 장기 기억 저장소를 보유하여 서로 다른 상호작용 이력을 가집니다.
성격 (Personality): Big Five (5 요인) 모델 (개방성, 성실성, 외향성, 친화성, 신경증) 을 기반으로 합니다. 각 차원은 1~5 점으로 수치화되어 LLM 시스템 프롬프트에 자연어 설명자로 주입되어, 로봇의 답변 스타일과 행동 선택에 직접적인 영향을 미칩니다.
계획 (Planning) 및 실행 (Execution): LLM 기반의 계획 모듈이 지각, 기억, 성격, 행동 가능 집합을 통합하여 구체적인 행동 정책 (말하기, 제스처, 이동 등) 을 생성하고 실행 모듈이 이를 수행합니다.

B. 다중 에이전트 조율 (Multi-Agent Coordination)

중앙 집중식 조율기 (Centralized Coordinator): 각 로봇이 독립적으로 인지하지만, 조율기가 모든 로봇의 관찰값, 맥락, 성격 벡터를 종합하여 응답 확률 점수 ( $r_{i,t}$ ) 를 계산합니다.
작동 원리: 점수가 임계값을 넘는 로봇이 순차적으로 응답하도록 선택합니다. 이는 대화의 중복 (Overlap) 을 방지하고, 누가 응답해야 하는지 사회적 맥락에 맞게 결정하여 일관된 그룹 행동을 보장합니다.

C. 시스템 구현

하드웨어: 두 대의 NAO 휴머노이드 로봇 사용.
소프트웨어: 외부 워크스테이션에서 LLM(VLM, GPT-4o-mini 등) 및 메모리 관리 (ChromaDB) 를 수행. 로봇은 NaoQi 프록시를 통해 명령을 수신합니다.

3. 주요 기여 (Key Contributions)

M2HRI 프레임워크 제안: 성격, 장기 기억, 조율 메커니즘을 통합한 최초의 멀티모달 다중 에이전트 HRI 프레임워크 중 하나입니다.
개별성과 조율의 통합: 로봇의 개별적 정체성 (성격/기억) 과 구조화된 조율이 모두 필요함을 이론적으로 정립하고 구현했습니다.
실증적 연구 (User Study): 105 명의 참가자를 대상으로 한 통제된 실험을 통해 성격, 기억, 조율의 효과를 정량적으로 검증했습니다.

4. 연구 결과 (Results)

사용자 연구 (n=105) 를 통해 세 가지 연구 질문 (RQ) 에 대한 결과를 도출했습니다.

RQ1: 로봇 성격의 영향 (Personality)
- 구별 가능성: 사용자는 로봇의 성격 (특히 개방성, 신경증, 친화성, 외향성) 을 명확히 구별할 수 있었습니다. (성실성은 상대적으로 구별이 어려웠으나 여전히 무작위 수준 이상).
- 일관성: 로봇은 상호작용 내내 일관된 성격을 유지했습니다.
- 참여도: 성격이 표현적인 특성 (개방성, 신경증) 은 상호작용 참여도를 높였으나, 모든 특성이 동일한 효과를 가진 것은 아니었습니다.
- 특성 인식: 사용자는 의도된 성격 특성을 무작위 수준보다 훨씬 정확하게 식별했습니다.
RQ2: 장기 기억의 영향 (Memory)
- 개인화 및 맥락 인식: 장기 기억이 활성화된 조건에서 로봇의 기억 정확도와 사용자 선호도 인식이 통계적으로 유의미하게 향상되었습니다.
- 자연스러움: 기억이 있으면 상호작용이 더 자연스러웠으나, 그 효과는 기억이 없는 조건에서도 작업 기억으로 인해 일정 수준의 자연스러움이 유지되었기 때문에 상대적으로 작았습니다. (자연스러움 $\neq$ 개인화).
RQ3: 조율의 영향 (Coordination)
- 대화 흐름 및 적절성: 중앙 집중식 조율이 있는 조건에서 대화의 흐름과 응답의 적절성이 크게 향상되었습니다.
- 중복 방지: 조율기가 없을 때 발생하는 로봇 간 대화 중복 (Overlap) 이 조율 조건에서 현저히 감소했습니다. 이는 다중 에이전트 대화의 실패를 방지하는 가장 중요한 요소로 확인되었습니다.

5. 의의 및 결론 (Significance & Conclusion)

핵심 통찰: 효과적인 다중 로봇 HRI 를 위해서는 에이전트의 개별성 (성격/기억) 과 구조화된 조율이 모두 필수적이며 상호 보완적입니다.
- 개별성은 사용자가 로봇을 '개별적인 사회적 존재'로 인식하게 하고 개인화된 경험을 제공합니다.
- 조율은 로봇들이 혼란스럽지 않고 사회적으로 적절한 순서로 상호작용하도록 보장합니다.
미래 방향: 적응형 성격 모델링, 장기적인 실제 환경 배포, 더 복잡한 다중 로봇/다중 사용자 시나리오로 확장할 필요가 있음을 제시했습니다.

이 연구는 LLM 기반의 다중 로봇 시스템이 단순한 기능 수행을 넘어, 인간과 정서적이고 사회적으로 의미 있는 관계를 형성할 수 있는 기반을 마련했다는 점에서 중요한 의의를 가집니다.