💻 computer science

Designing for Error Recovery in Human-Robot Interaction

이 논문은 일회성 의사결정에 의존하는 기존 AI 시스템의 한계를 지적하고, 인간처럼 오류를 감지하고 복구할 수 있는 로봇 시스템 설계의 필요성을 강조하며, 이를 위해 원자력 글로브박스 사례를 통해 구체적인 설계 방안을 제시합니다.

원저자: Christopher D. Wallbridge, Erwin Jose Lopez Pulgarin

게시일 2026-04-15

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Christopher D. Wallbridge, Erwin Jose Lopez Pulgarin

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"로봇이 실수를 했을 때, 어떻게 다시 일어서게 할 것인가?"**에 대한 이야기를 담고 있습니다.

기존의 로봇이나 인공지능 (AI) 연구는 "로봇이 인간보다 실수 없이 완벽하게 한 번에 일을 끝내는 것"을 목표로 했습니다. 하지만 현실은 그렇게 단순하지 않죠. 이 논문은 **"완벽한 로봇보다는, 실수를 하고도 스스로 고쳐서 다시 성공할 수 있는 로봇"**을 만드는 것이 더 중요하다고 주장합니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

1. 핵심 아이디어: "한 번에 완벽할 필요는 없다"

우리는 보통 로봇이 인간보다 더 똑똑해지길 바랍니다. 하지만 인간은 실수를 하더라도 **"아, 내가 잘못 잡았네. 다시 잡아야지"**라고 생각하며 바로 고칩니다. 이 '수습 능력' 덕분에 인간은 결국 일을 성공시킵니다.

하지만 많은 로봇은 한 번 실수하면 그걸로 끝입니다. 마치 시험을 보다가 한 문제를 틀리면 그 자리에서 포기하고 일어나는 학생처럼요. 이 논문은 로봇도 인간처럼 **"실수 → 발견 → 고침 → 성공"**의 과정을 거칠 수 있게 만들어야 한다고 말합니다.

2. 무서운 상황: "방사능 장갑상자 (Glovebox)"

논문의 예시로 **'방사능 폐기물을 다루는 장갑상자'**를 들었습니다.

상황: 방사능 물질은 사람이 직접 만지면 안 되죠. 그래서 두꺼운 장갑을 끼거나 로봇을 넣어 일을 시킵니다.
문제: 로봇이 방사능 물질과 닿으면 성능이 떨어지기도 하고, 날카로운 쓰레기에 찔리면 로봇의 보호막이 깨져 위험해질 수 있습니다.
비유: 마치 폭탄을 제거하는 전문가가 장갑을 끼고 위험한 물건을 다루는 것과 같습니다. 여기서 로봇이 실수하면 (예: 날카로운 물건을 잘못 잡음) 로봇이 고장 나거나, 심하면 방사능이 새어 나와 큰 사고가 날 수 있습니다.

3. 로봇이 겪는 4 가지 난관 (도전 과제)

로봇이 이 위험한 일을 잘하려면 다음 4 가지를 해결해야 합니다.

무엇을 해야 할지 모호함 (작업 정의):
- 폐기물 상자를 열기 전에는 안에 뭐가 들어있는지, 얼마나 위험한지 알 수 없습니다. 마치 선물 상자를 열기 전까지 내용물을 모르는 상황과 같습니다. 로봇은 상황에 따라 "이건 잘라야지", "이건 다시 포장해야지"라고 스스로 판단해야 합니다.
실수를 알아차리기 (오류 식별):
- 로봇이 물건을 잘못 잡았는지, 혹은 방사능 물질에 너무 가까이 갔는지를 알아야 합니다.
- 비유: 요리사가 칼을 잘못 잡았을 때 "아, 손가락 다칠 뻔했네!"라고 알아차리는 것과 같습니다.
왜 실수했는지 찾기 (원인 파악):
- 실수의 원인은 다양합니다. "조명이 너무 어두워서 못 봤다", "카메라 렌즈가 더러웠다", "모터가 고장 났다" 등.
- 비유: 차가 고장 났을 때, "배터리가 방전된 건가, 아니면 기름이 없는 건가?"를 진단하는 과정입니다. 원인을 모르면 고칠 수 없습니다.
사람에게 알리기 (의사소통):
- 로봇이 실수하면 사람에게 "저기요, 제가 지금 막혔어요. 도와주세요"라고 말해야 합니다.
- 비유: 요리사가 "소금이 부족해요!"라고 외치는 것처럼, 로봇도 팀원 (사람) 과 소통해야 합니다. 너무 자주 "에러!"라고 외치면 사람들은 무시하게 되니, 적절한 타이밍에 알려야 합니다.

4. 해결책: "스위스 치즈 모델"과 "4 단계 시스템"

이 논문은 실수를 막기 위해 여러 겹의 방어막을 두는 것을 제안합니다.

스위스 치즈 모델: 치즈 구멍 (약점) 이 여러 겹으로 쌓여있으면, 한 겹의 구멍을 통과해도 다른 겹에서 막아낼 수 있습니다. 즉, 로봇이 실수해도 한 번에 큰 사고로 이어지지 않게 여러 단계의 안전장치를 두자는 뜻입니다.

또한, 로봇 시스템을 다음과 같이 설계해야 한다고 말합니다:

작업 설명서: 로봇이 무엇을 해야 하는지 명확히 알려줍니다.
상태 해석기: 로봇의 눈 (센서) 으로 현재 상황을 보고 "이게 목표한 대로 가고 있나?"를 판단합니다.
로봇 본체: 판단 결과에 따라 즉시 행동합니다. (예: "잡히지 않네? 다시 잡자.")
인터페이스 (화면/소리): 사람에게 상황을 알려주고, 사람이 로봇을 도와줄 수 있게 합니다.

5. 결론: 실수는 배움의 기회

이 논문의 가장 중요한 메시지는 **"실수를 피하는 것보다, 실수를 어떻게 고칠지 준비하는 것이 더 중요하다"**는 것입니다.

완벽한 로봇을 만드는 것은 불가능에 가깝습니다. 하지만 실수를 하고도 스스로 고쳐서, 사람과 함께 문제를 해결해 나가는 로봇을 만든다면, 우리는 훨씬 더 안전하고 신뢰할 수 있는 세상을 만들 수 있습니다.

한 줄 요약:

"로봇에게 '실수하지 않는 것'을 강요하기보다, '실수했을 때 어떻게 다시 일어서서 사람과 함께 해결할지'를 가르쳐야 합니다."

논문 요약: 인간 - 로봇 상호작용 (HRI) 을 위한 오류 복구 설계

저자: Christopher D. Wallbridge (Cardiff University), Erwin Jose Lopez Pulgarin (The University of Manchester)
발표: EMF@HRI'26 (2026 년 3 월, 에든버러)

1. 문제 정의 (Problem)

현재의 자율 로봇 및 AI 시스템은 주로 '단회성 (one-shot)' 및 '일방향 (one-way)' 의사결정에 초점을 맞추어 인간 수준의 성능을 달성하거나 초과하는 것을 목표로 합니다. 그러나 실제 세계는 연속적이고 상호작용적인 환경이며, 100% 오류 없는 시스템을 보장하는 것은 불가능합니다.

기존 접근법의 한계: 인간은 실수에서 복구하고 학습하는 능력이 탁월하여 전체 성공률을 높이지만, 많은 AI 시스템은 이러한 '복구 능력'을 고려하지 않습니다.
핵심 문제: 성능이 100% 보장되지 않는 상황에서 로봇의 안전성을 어떻게 정의할 것인가? 그리고 시스템이 스스로 오류를 감지하고 복구하여 신뢰성을 높이는 방법은 무엇인가?

2. 방법론 및 사용 사례 (Methodology & Use Case)

저자들은 이론적 논의를 넘어 구체적인 사용 사례 (Use Case) 를 통해 문제 해결 방안을 제시합니다.

사용 사례: 원자력 글로브박스 (Nuclear Glovebox)
- 배경: 방사성 폐기물 처리를 위한 글로브박스 환경은 제한된 접근성, 낮은 인간공학적 설계, 그리고 로봇의 성능 저하를 유발하는 방사선 노출 등 많은 불확실성을 내포합니다.
- 작업 특성: 밀폐된 캔스터의 내용물을 검사하고 분류하는 작업은 작업 전 정확한 내용물과 오염 수준을 알 수 없어 사전 정의가 불가능하며, 작업 중 실시간으로 정의되어야 합니다.
- 오류의 심각성: 단순한 작업 지연부터 로봇의 완전한 고장, 방사능 유출, 인명 피해에 이르기까지 오류의 파급력이 큽니다.
시스템 설계 프레임워크 (4 단계 구성 요소)
저자는 견고한 오류 감지 및 복구 시스템을 위해 다음 4 가지 주요 구성 요소를 제안합니다 (그림 3 참조):
1. 작업 기술 (Task Description): 오류를 판단하기 위한 기준. 고정된 정의가 아닌 작업 중 지속적으로 업데이트되는 흐름 (Flow) 일 수 있음.
2. 상태 해석 (State Interpretation): 작업 목표, 맥락, 실제 작업을 기반으로 오류를 정의하고 현재 상태를 분석하는 모듈.
3. 로봇 (Robot): 센서 정보를 제공하여 상태 해석을 지원하고, 해석된 오류 정보에 기반하여 즉각적인 복구 행동을 취할 수 있어야 함.
4. 인터페이스 (Interface): 운영자에게 오류를 알리고, 팀 내 복구 및 장기적 개선을 가능하게 함. 양방향 소통 (Human-in-the-loop) 이 필수적이며, 과도한 경보로 인한 경각심 무디게 함 (Alarm Fatigue) 을 방지해야 함.

3. 주요 기여 및 논의 (Key Contributions)

오류 관리의 패러다임 전환:
- 스위스 치즈 모델 (Swiss Cheese Model) 적용: 오류 방지를 위한 여러 층의 장벽을 구축하여, 모든 장벽의 구멍이 겹쳐 위협이 관통하는 것을 방지하는 다층적 방어 전략을 제안합니다.
- 복구 확률의 수학적 논증: 초기 실패 확률이 5% 일 때, 복구 실패 확률도 5% 라면 최종 실패 확률은 $0.05 \times 0.05 = 0.25\%$ 로 급격히 감소함을 보여줍니다. 이는 '단순한 성능 향상'보다 '오류 복구 능력'이 시스템 신뢰도에 훨씬 더 큰 영향을 미친다는 것을 강조합니다.
오류 식별 및 원인 분석의 세분화:
- 보편적 오류: 예기치 않은 충돌, 물체 파지 실패/오류, 물체 오인식 등.
- 작업 특화 오류: 원자력 환경에서의 불필요한 방사선 근접, 폐기물 분류 오류, 밀폐성 파괴 등.
- 원인 추적: 오류 발생 시 원인 (조명 부족, 카메라 가림, 모터 노이즈, 인간 오류 등) 을 파악해야 적절한 복구 전략 (즉시 교정 vs 수리/교체) 을 수립할 수 있음을 강조합니다.
소통 (Communication) 의 중요성:
- 오류는 학습의 기회입니다. 로봇과 인간 간의 양방향 소통 (로그, 음성, GUI, 햅틱 피드백) 을 통해 오류를 신속히 보고하고 대응해야 합니다.
- 특히 인간이 오류를 빠르게 인지하고 수정할 수 있도록 시스템을 설계하는 것이 중요합니다.

4. 결과 및 시사점 (Results & Significance)

결과: 이 논문은 구체적인 실험 데이터보다는 설계 프레임워크와 개념적 모델을 제시합니다. 원자력 글로브박스라는 극한 환경에서 오류가 발생할 때, 시스템이 단순히 멈추는 것이 아니라 오류를 감지, 원인 분석, 복구 (또는 인간 개입 요청) 하는 프로세스가 필요함을 논증했습니다.
의의:
1. 안전성 재정의: 완벽한 오류 없는 시스템보다는 '오류 발생 시 효과적으로 복구하는 시스템'이 실제 세계에서 더 안전하고 신뢰할 수 있음을 주장합니다.
2. 인간 - 로봇 협업 강화: 자율 시스템이 인간과 협업할 때, 오류를 공유하고 함께 해결하는 메커니즘이 필수적임을 강조합니다.
3. 실용적 설계 가이드: LLM(대형 언어 모델) 의 환각 (Hallucination) 문제 등을 고려하여, 작업 맥락에 기반한 구체적인 상태 해석과 인터페이스 설계의 필요성을 제기합니다.

5. 결론

이 논문은 복잡한 실세계 환경에서 자율 로봇 시스템의 신뢰성을 높이기 위해서는 '오류 방지'뿐만 아니라 **'오류 복구 (Error Recovery)'**에 초점을 맞춘 설계가 필수적임을 강조합니다. 특히 인간과 협업하는 시스템의 경우, 맥락을 이해하고 오류를 감지하여 인간 운영자와 효과적으로 소통하며 복구하는 다층적 시스템 아키텍처가 미래 HRI 의 핵심 과제임을 시사합니다.