기술 요약: BaTCAVe – 로봇 행동에 대한 신뢰할 수 있는 설명

문제 정의

현대 로보틱스는 특히 엔드 투 엔드(end-to-end) 의사결정 및 제어를 위해 심층 신경망(DNN)에 점점 더 많이 의존하고 있습니다. 그러나 이러한 모델의 "블랙박스" 특성은 고도의 신뢰성이 요구되는 실제 환경 배포에 있어 상당한 과제를 안겨줍니다. 엔지니어와 입법 기관을 포함한 이해관계자들은 이러한 시스템의 의사결정 과정에 대한 통찰력을 얻지 못하고 있으며, 이는 디버깅, 인증, 그리고 신뢰 구축을 저해합니다.

설명 가능한 AI(XAI)가 자연어 처리 및 컴퓨터 비전 분야에서 발전해 왔음에도 불구하고, 기존 기술은 다음 두 가지 주요 이유로 로보틱스 분야에서 한계를 보입니다:

1. 접지력(Grounding)의 결여: 많은 XAI 방법론(예: 그래디언트를 통한 특징 속성 추출 또는 픽셀 강조)은 네트워크가 입력값의 어디에 집중하는지는 식별하지만, 어떤 고수준의 의미적 속성(개념)이 특정 로봇 행동을 유도하는지에 대해서는 설명하지 못합니다. 이미지 속의 자동차를 강조하는 것은 모델이 그 자동차의 색상, 모양, 혹은 움직임 중 무엇에 반응했는지를 명확히 해주지 않습니다.
2. 신뢰성 평가의 부재: 현재의 XAI 방법들은 일반적으로 설명의 불확실성이나 신뢰도를 정량화하지 못한 채 단일한 설명만을 제공합니다. 안전이 중요한 로보틱스에서, 잠재적으로 틀렸거나 모호한 설명은 설명이 없는 것만큼이나 위험합니다.

방법론: BaTCAVe

저자들은 고수level의 해석 가능한 개념과 연관된 불확실성 점수를 함께 제공하도록 설계된 사후(post-hoc) 설명 가능 기술인 BaTCAVe(Bayesian Testing with Concept Activation Vectors)를 제안합니다.

핵심 구성 요소

1. 행동 개념 ($C_A$): 정적인 분류 작업과 달리, 로봇의 의사결정은 일련의 행동 시퀀스를 포함합니다. 이 방법은 "행동 개념"을 시간 경과에 따른 행동 벡터에 논리적 규칙을 적용하여 로봇의 궤적에서 추출한 특정 목표 행동(예: "큐브 잡기" 또는 "오른쪽으로 조향하기")으로 정의합니다.
2. 입력 개념 ($C_I$): 이는 로봇의 입력(시각, 언어 또는 고유 수용 감각 데이터)에 대한 고수준의 인간 해석 가능한 속성으로, 예를 들어 "붉음", "어두움", "거리" 또는 명령 내의 특정 동사 등이 있습니다. 이는 대표적인 입력값들의 집합(예: 어두운 물체를 보여주는 이미지 세트)으로 표현됩니다.
3. CAV를 이용한 베이지안 테스트:
   • 이 방법은 특정 레이어 $l$에서의 신경망을 인코더 $f_{-l}(\cdot)$와 디코더 $f_{+l}(\cdot)$로 분해합니다.
   • 작동은 $f_{-l}(\cdot)$의 활성화 공간 내에서 이루어집니다.
   • 양성(개념 존재) 활성화 샘플과 음성(개념 부재) 활성화 샘플 사이의 단일 선형 경계를 찾는 대신, BaTCAVe는 **변분 추론(Variational Inference)**을 사용하여 분리 초평면(Concept Activation Vectors)에 대한 확률 분포를 학습합니다.
   • 이 접근 방식은 방향 벡터 $v$를 확률 변수로 취급하여, 시스템이 여러 개의 유효한 분리 경계를 샘플링할 수 있도록 합니다.

점수 산출 및 불확실성

이 방법은 특정 입력 개념에 대한 로봇 의사결정의 민감도를 나타내는 점수 $s$를 계산합니다.

• 평균 점수 ($\bar{s}$): 점수의 경험적 평균은 설명의 강도를 나타냅니다. 높은 평균값은 해당 개념이 행동을 유도하는 중요한 동인임을 시사합니다.
• 불확실성 (표준 편차): 점수의 경험적 표준 편차는 **인식론적 불확실성(epistemic uncertainty)**을 반영합니다.
  • 낮은 불확실성 + 높은 정확도: 설명이 정밀하고 신뢰할 수 있음 (Case 3).
  • 높은 불확실성 + 높은 정확도: 여러 유효한 설명이 존재하거나, 테스트 데이터의 다양성이 부족함 (Case 2).
  • 낮은 정확도: 해당 개념이 행동을 구분해내지 못하며, 이로 인해 설명의 신뢰성이 떨어짐 (Case 1).

주요 기여

1. 사후 설명 가능 의사결정: DNN을 탑재한 로봇에 특화되어, 단순한 픽셀 단위가 아닌 고수준의 개념을 바탕으로 왜 특정 행동이 취해졌는지를 설명하는 기술입니다.
2. 신뢰성 프레임워크: 변분 추론을 사용하여 설명의 신뢰성을 평가하는 혁신적인 프레임워크를 제공하며, 이를 통해 이해관계자가 견고한 통찰과 모호한 통찰을 구분할 수 있도록 불확실성 구간을 제공합니다.
3. 다양한 모달리티에 걸친 개념 발견: 다양한 로보틱스 작업(조작, 내비게이션, 주행)과 입력 모달리티(이미지, 고유 수용 감각, 언어) 전반에서 설명 가능한 개념을 발견하고 테스트할 수 있는 능력입니다.

실험 결과

저자들은 네 가지 서로 다른 실험 설정을 통해 BaTCAVe를 검증했습니다.

1. 시각 기반 이동 로봇 내비게이션 (JetBot):

   • 발견: 엔지니어들은 처음에 로봇이 "주황색" 장애물을 피하도록 학습되었다고 가설을 세웠습니다. 그러나 BaTCAVe는 모델이 실제로 "어두움"(HSV 스케일에서의 밝기)에 의존하고 있음을 밝혀냈습니다. 즉, 주황색 상자는 단지 어두운 색조였을 뿐입니다.
   • 유용성: 이 방법은 전체 네트워크를 미세 조정하는 것과 최종 레이어를 미세 조정하는 것이 "주황색" 대 "어두움"에 대한 의존도를 어떻게 변화시키는지 성공적으로 식별하였으며, 이를 통해 데이터 증강 및 학습 전략 디버깅에 대한 유용성을 입증했습니다.

2. 고유 수용 감각 조작 (Panda Arm):

   • 작업: 큐브 들기, 집어서 놓기, 너트 조립.
   • 발견: 낮은 불확실성을 가진 BaTCAVe 점수는 고유 수용 감각 센서로부터 오는 정밀한 물체 정보가 작업 성공에 결정적이었음을 확인해주었습니다. 예를 들어, "들기(Lift)" 작업에서 말단 장치(end-effector)의 수직 위치($\Delta Z$)와 그리퍼 상태가 지배적인 개념이었습니다.

3. 시각-언어 조작:

   • 설정: RGB 이미지와 언어 명령(예: "큐브를 집어라")을 처리하는 모델.
   • 발견: 이 방법은 특정 동사가 들어간 언어 명령이 들어 올리는 동작의 주요 동인임을 분리해냈으며, 이미지 개념은 더 높은 불확실성을 보여 특정 단계에서 모델이 언어적 단서에 의존하고 있음을 강조했습니다.

4. 자율 주행 (Donkey Simulator):

   • 발견: 에이전트는 조향 결정을 내리는 데 있어 "검은 색조"(도로를 나타냄)에 크게 의존했습니다.
   • 진단적 유용성: 서로 다른 레이어에 BaTCAVe를 적용함으로써, 저자들은 조향 복구 오류가 이미지 인코더(CNN)가 아닌 정책 헤드(MLP)에서 기인한다는 것을 파악하여 타겟팅된 재학습 노력을 유도했습니다.

의의 및 주장

본 논문은 BaTCAVe를 본질적으로 해석 가능한 모델의 대체제가 아니라, 현재 로보틱스를 지배하고 있는 블랙박스 DNN을 위한 필수적인 진단 도구로 포지셔닝합니다.

• 신뢰 및 안전: 불확실성을 정량화함으로써, BaTCAVe는 설명을 절대적인 사실으로 제시하는 기존 XAI의 결정적인 간극을 해결합니다. 이를 통해 엔지니어와 규제 기관은 설명이 고위험 결정(예: 자율 주행 차량 인증)에 사용될 만큼 신뢰할 수 있는지 평가할 수 있습니다.
• 반복적 개선: 저자들은 BaTCAVe가 데이터 증강, 미세 조정, 도메인 변화에 대한 취약점을 식별함으로써 로보티스트가 모델의 견고성을 반복적으로 개선할 수 있도록 돕는다고 주장합니다.
• 인간 중심 디버깅: 픽셀 수준의 살리언시 맵(saliency map)과 달리, BaTCAVe는 인간의 직관과 일치하는 의미적 설명(예: "어두움" 또는 "동사의 중요성")을 제공하여 엔지니어에게 실행 가능한 디버깅 프로세스를 제공합니다.

결론적으로, 견고한 모델에서도 실패는 불가피하지만, BaTCAVe와 같은 도구는 로봇 행동의 "이유"를 이해하는 데 필수적이며, 이를 통해 더 안전하고 신뢰할 수 있는 배포를 촉진할 수 있습니다.