💻 computer science

Trust Through Transparency: Explainable Social Navigation for Autonomous Mobile Robots via Vision-Language Models

이 논문은 비전 - 언어 모델과 히트맵을 통합한 멀티모달 설명 모듈을 통해 자율 이동 로봇의 사회적 항법 중 투명성과 신뢰를 향상시키는 시스템을 제안하고, 사용자 연구를 통해 실시간 설명이 사용자의 이해와 신뢰를 높인다는 것을 입증했습니다.

원저자: Oluwadamilola Sotomi, Devika Kodi, Aliasghar Arab

게시일 2026-04-09

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Oluwadamilola Sotomi, Devika Kodi, Aliasghar Arab

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"로봇이 길을 걸을 때 왜 그렇게 움직이는지 우리한테 말해준다면, 우리는 로봇을 더 믿게 될까?"**라는 질문에 대한 답을 찾는 연구입니다.

간단히 말해, 사람들이 로봇을 더 잘 이해하고 신뢰할 수 있도록, 로봇이 스스로의 행동을 '말'과 '시각 자료'로 설명해주는 시스템을 개발한 연구입니다.

이 복잡한 내용을 일상적인 비유로 쉽게 풀어보겠습니다.

🤖 1. 문제 상황: "침묵하는 로봇"은 무섭다?

상상해 보세요. 여러분이 엘리베이터를 타고 있는데, 갑자기 엘리베이터가 멈추고 문이 열립니다. 하지만 왜 멈췄는지, 왜 문이 열린지 아무 말도 하지 않습니다. 여러분은 당황스럽고 불안해집니다. "내 잘못인가?", "고장인가?", "나를 공격하려는 건가?"라고 생각하게 되죠.

기존의 자율주행 로봇들도 비슷했습니다. 사람들과 함께 다니는 복잡한 공간 (병원, 쇼핑몰 등) 에서 로봇이 갑자기 방향을 틀거나 멈추면, 사람들은 **"도대체 이 로봇이 무슨 생각을 하는 거지?"**라고 궁금해하며 불신을 느꼈습니다. 로봇이 머릿속에서 계산한 복잡한 수식을 인간이 알 수 없기 때문입니다.

💡 2. 해결책: "말 잘하는 로봇" 만들기

이 연구팀은 로봇에게 **"침묵하지 말고, 지금 무슨 일이 일어나고 있는지 설명해라!"**라고 명령했습니다. 이를 위해 세 가지 도구를 섞어 썼습니다.

눈 (카메라): 로봇이 보는 세상을 봅니다.
머리 (시각 - 언어 모델): "저기 사람이 있네", "사람들이 대화 중이야"라고 이미지와 언어를 연결해 이해합니다.
입 (생성형 AI): 이해한 내용을 사람이 알아듣는 쉬운 말로 바꿔줍니다.

🎨 비유: 로봇은 이제 '안내 방송'을 합니다.
기존 로봇이 길을 가다가 갑자기 멈췄다면, 이제 로봇은 이렇게 말합니다.

"저기 앞쪽에 두 분이 대화를 하고 계셔서, 그분들의 대화를 방해하지 않기 위해 우회해서 지나가겠습니다."

뿐만 아니라, 로봇이 어떤 부분을 보고 그렇게 결정했는지를 화면에 붉은색으로 강조 (히트맵) 해서 보여줍니다. 마치 구글 지도에서 "이 길이 막혀서 우회합니다"라고 알려주는 것처럼 말이죠.

🧪 3. 실험 결과: "설명"이 신뢰를 만든다

연구팀은 30 명의 사람들과 함께 실험을 했습니다. 로봇이 설명을 할 때와 하지 않을 때를 비교했죠.

결과: 설명을 해주는 로봇을 본 사람들은 신뢰감이 16.7% 증가했고, 로봇의 행동을 이해하는 정도는 23.3%나 높아졌습니다.
사람들의 반응: "로봇이 왜 멈췄는지 알 수 있어서 더 편안했다", "내가 통제권을 가진 것 같았다"라는 긍정적인 피드백이 나왔습니다.
숫자로 본 신뢰: 30 명 중 22 명 이상이 "설명하는 로봇이 더 좋다"고 선택했습니다. (약 77% 선호도)

⚠️ 4. 아직 해결해야 할 과제: "속도" 문제

하지만 아직 완벽하지는 않습니다. 로봇이 보고, 생각하고, 말을 만들어 내는 데 약 20 초가 걸렸습니다.

비유: 사람이 길을 가다가 "저기 사람 있네, 피해야지"라고 생각한 뒤, 20 초 뒤에 "아, 피해야지!"라고 외치는 것과 비슷합니다. 너무 늦으면 오히려 혼란을 줄 수 있죠.
해결 방향: 컴퓨터 성능을 더 좋게 하거나, 설명을 더 빠르게 만들어서 로봇이 결정하는 순간과 거의 동시에 설명이 나오도록 고쳐야 합니다.

🚀 5. 결론: 로봇과 사람의 '친절한 대화'

이 연구는 로봇이 단순히 "명령을 수행하는 기계"가 아니라, **"우리 사회의 일원으로서 행동을 설명할 수 있는 존재"**가 되어야 함을 보여줍니다.

로봇이 "왜" 그렇게 움직이는지 알려줄 때, 우리는 로봇을 더 이상 낯선 기계가 아닌 예측 가능한 친구처럼 여기게 됩니다. 이 기술이 발전하면, 앞으로 병원이나 쇼핑몰을 돌아다니는 로봇들이 사람들과 더 자연스럽게, 그리고 안전하게 함께 살 수 있는 길이 열릴 것입니다.

한 줄 요약:

"로봇이 자신의 행동을 우리 말로 설명해줄 때, 우리는 로봇을 더 믿고 편안하게 지낼 수 있다."

1. 문제 정의 (Problem Statement)

배경: 서비스 및 보조 로봇이 동적인 사회적 환경에 점차 통합되고 있지만, 로봇의 의사결정 과정을 투명하고 설명 가능하게 전달하는 것은 여전히 큰 과제로 남아 있습니다.
핵심 문제: 기존 자율 이동 로봇 (AMR) 은 인간과의 협업에서 의사결정 로직을 소통하지 못해 신뢰 부족과 사용성 저하를 초래합니다.
한계점:
- 기존 연구는 내부 의사결정 로직에 국한되거나, 시각적 맥락 없이 언어 모델만 사용하여 직관성이 떨어졌습니다.
- 사회적 규범을 준수하는 항법 (Social Navigation) 과 실시간 설명 (Real-time Explanation) 을 통합한 멀티모달 (Multi-modal) 접근법이 부족합니다.
- 로봇이 인간에게 자신의 행동을 예측 가능하게 만들지 못하면, 인간은 로봇의 행동에 적응하지 못해 비효율과 주저함이 발생합니다.

2. 방법론 (Methodology)

이 논문은 **비전 - 언어 모델 (VLM)**과 **히트맵 (Heatmap)**을 통합한 멀티모달 설명 모듈을 제안하여 로봇의 항법 행동을 자연어로 설명하는 시스템을 구축했습니다.

A. 시스템 아키텍처

시스템은 ROS2 기반의 4 가지 주요 노드로 구성됩니다:

Camera Node: 로봇의 시야를 캡처합니다.
BLIP Node: 캡처된 이미지를 기반으로 시각적 설명 (Image Captioning) 을 생성합니다.
Heatmap Node: Grad-CAM을 사용하여 로봇의 의사결정에 영향을 미치는 시각적 중요 영역 (Salient Regions) 을 히트맵으로 시각화합니다.
LLM Node: 비전 설명과 히트맵 분석 결과를 입력받아 자연어 요약 (Natural Language Summary) 을 생성합니다.

B. 설명 생성 프로세스

입력: 로봇의 카메라 이미지 ( $X$ ), 히트맵 분석 ( $H$ ), 언어 모델 출력 ( $L$ ).
프로세스:
1. VLM 노드가 잠재적인 사회적 갈등 (Social Conflict) 을 감지합니다.
2. 히트맵 노드가 시각적 중요도를 강조합니다.
3. LLM 은 프롬프트를 통해 "내가 본다 (I see)..."로 시작하여 로봇의 관점과 재경로 설정 이유를 포함한 간결한 문장을 생성합니다.
4. 생성된 텍스트는 음성으로 출력되고, 화면에 히트맵 오버레이와 함께 표시됩니다.
수학적 모델: 설명 가능성 점수 ( $\epsilon$ ) 를 정의하여 사용자의 이해도와 일치도를 정량화했습니다.

C. 사회적 제약 조건

로봇은 인간의 안전과 사회적 규범을 준수해야 하며, 이를 수식으로 정의했습니다:

인간 안전 및 사회적 거리: 로봇과 인간 사이의 거리를 사회적/안전 거리 이상으로 유지.
사회적으로 수용 가능한 운동: 갑작스러운 정지나 과도한 속도 변화를 피함.
사회적 항법 제약: 대화 중인 그룹이나 인간의 공간을 방해하지 않도록 경로 계획.

3. 주요 기여 (Key Contributions)

멀티모달 설명 모듈 개발: 비전 (이미지), 언어 (설명), 시각적 주의 (히트맵) 를 통합하여 로봇이 인간의 사회적 맥락을 이해하고 이를 자연어로 설명하는 새로운 프레임워크 제안.
실시간 검증: ROS2 기반의 AMR 에 모듈을 배포하여 실제 환경 (복도 및 메이커 스페이스) 에서 실시간 항법 및 설명 생성을 검증.
사용자 중심 평가: 30 명의 참가자를 대상으로 한 사용자 연구를 통해 설명 기능의 유무가 신뢰, 이해도, 투명성에 미치는 영향을 정량적으로 분석.
혼동 행렬 (Confusion Matrix) 분석: 시스템의 설명이 인간의 기대와 얼마나 일치하는지를 정밀하게 평가하여 설명의 정확성을 입증.

4. 실험 결과 (Results)

실험은 수동 항법 (Test 1) 과 자율 항법 (Test 2) 으로 나누어 '설명 기능 유무 (With/Without Explainability)' 조건으로 수행되었습니다.

A. 항법 성능 지표

사회적 갈등 및 급정거 감소: 설명 기능이 활성화된 경우, 사회적 갈등 감지 횟수와 갑작스러운 정지 (Sudden Stops) 가 감소했습니다.
- 예시 (자율 항법): 급정거 횟수가 21 회 (설명 없음) 에서 18 회 (설명 있음) 로 감소.
소요 시간 단축: 설명 기능이 있는 경우 전체 항법 시간이 단축되는 경향을 보였습니다 (자율 항법: 25.3 초 $\to$ 22.6 초).

B. 사용자 설문 조사 (n=30)

신뢰 및 이해도 향상: 설명이 제공되었을 때 사용자의 신뢰도가 +16.7%, 이해도가 +23.3% 증가했습니다.
선호도: 전체 참가자의 **76.7%**가 설명 기능을 선호한다고 응답했습니다.
통계적 유의성: "로봇의 설명이 의사결정을 이해하는 데 도움이 되었다"는 질문에 **73.3%**가 "예"라고 답했습니다.

C. 정확도 및 지연 시간

정확도: 혼동 행렬 분석 결과, 시스템의 설명 정확도 (Accuracy) 는 **82.14%**로 측정되었습니다 (TP: 82, TN: 79, FP: 20, FN: 15).
지연 시간 (Latency): 평균 약 20 초의 지연이 발생했으나 (Raspberry Pi 4B 하드웨어 제한), 이는 실시간 시스템에서 개선이 필요한 부분으로 지적되었습니다. 지연이 길어질수록 사용자의 신뢰도 ( $\epsilon$ ) 가 하락하는 경향이 확인되었습니다.

5. 의의 및 결론 (Significance & Conclusion)

신뢰 구축: 로봇이 "왜" 그 행동을 했는지 설명함으로써, 사용자는 로봇의 행동을 예측하고 자연스럽게 상호작용할 수 있게 되어 인간 - 로봇 협업 (HRI) 의 신뢰도가 크게 향상됩니다.
블랙박스 문제 해결: AI 기반 자율 시스템의 '블랙박스' 성격을 해소하고, 인간의 기대와 일치하는 행동을 통해 사회적 수용성을 높이는 데 기여합니다.
미래 방향: 현재 하드웨어 제한으로 인한 지연 시간을 줄이기 위해 엣지 컴퓨팅 (Edge Computing) 이나 분산 처리 아키텍처를 도입하여 실시간 성능을 최적화할 필요가 있음을 시사합니다.

요약하자면, 이 연구는 비전 - 언어 모델을 활용하여 로봇이 사회적 환경에서 자신의 행동을 시각적, 언어적으로 설명하게 함으로써 인간과의 신뢰 관계를 강화하고, 보다 안전하고 예측 가능한 로봇 항법을 실현하는 효과적인 프레임워크를 제시했습니다.