ConceptTree: Bringing Semantic Transparency to Black-Box Decision Making for Robotic Manipulation

기술 요약: ConceptTree

문제 정의

장기적(long-horizon) 로봇 조작에는 변화하는 시각적 장면에 기반하여 복잡하고 순차적인 결정을 내릴 수 있는 에이전트가 필요합니다. 엔드 투 엔드(end-to-end) 신경망 정책이나 시각-언어 모델(VLM)에 의존하는 현재의 방식들은 주로 "블랙박스" 형태로 작동합니다. 이러한 시스템들은 복잡한 패턴을 포착하는 데는 효과적이지만, 투명성이 부족합니다. 즉, 특정 기술(skill) 선택의 근거가 암묵적이기 때문에, 실패 원인을 진단하거나(예: 지각 오류와 잘못된 결정 논리의 구분) 재학습 없이 행동을 수정하기 위해 개입하는 것이 어렵습니다. 기호적 정책(symbolic policies)이나 결정 트리(decision trees)와 같은 기존의 해석 가능한 방법들은 대개 가공되지 않은 시각적 관측값보다는 저차원의 구조화된 상태에 의존하며, 사후 설명(post-hoc explanation) 방식은 장면의 속성을 행동으로 매핑하는 실제 결정 논리를 드러내지 못합니다. 따라서 고수준의 결정을 직접적인 시각 입력으로부터 유도된 인간이 해석 가능한 개념에 접지(grounding)시키면서도, 명시적이고 추적 가능한 결정 과정을 유지하는 프레임워크가 절실히 필요합니다.

방법론: ConceptTree

저자들은 의미론적으로 접지된 개념 학습과 구조화된 의사결정을 통합하는 프레임워크인 ConceptTree를 제안합니다. 이 접근 방식은 고수준 정책을 두 가지 해석 가능한 단계로 분해합니다: 시각적 관측을 정규화된 개념 공간으로 매핑하는 **개념 레이어(concept layer)**와, 이 개념들을 바탕으로 기술을 선택하기 위해 추론하는 **결정 모듈(decision module, 결정 트리)**입니다.

1. VLM 주석을 통한 개념 감독(Concept Supervision)

데이터셋 구축 시 수동 주석 작업을 피하기 위해, 본 프레임워크는 외부 검증기로서 시각-언어 모델(VLM)을 사용합니다.

• 개념 생성: 대규모 언어 모델(LLM)이 사전 정의된 작업 관련 이진 개념(예: fridge_door_open, object_inside_fridge, round_yellow_object_on_counter)을 생성합니다.
• 검증: 각 시각적 관측에 대해 VLM은 각 개념이 참인지 여부를 평가하여 이진 라벨 벡터 $y_t \in \{0, 1\}^M$를 생성합니다.
• 지식 증류(Distillation): 이 과정은 대규모 VLM의 추론 능력을 경량화된 구조적 표현으로 전이하며, 연속적인 유사도 점수가 아닌 작업 의미론에 부합하는 명시적인 이진 감독 신호를 제공합니다.

2. 개념 학습(Concept Learning)

시각 인코더(ResNet-18)가 RGB 관측값에서 특징을 추출하고, 이는 개념 공간으로 투영됩니다.

• 투영(Projection): 특징들은 $M$개의 개념 차원으로 매핑되며, 학습 가능한 파라미터를 사용하여 시그모이드 함수를 통해 정규화된 값 $c_t \in (0, 1)^M$를 생성합니다.
• 학습 목적 함수: 개념 레이어는 다음의 복합 손실(composite loss)을 사용하여 학습됩니다:
  • 개념 손실(Concept Loss): 예측된 개념 값과 VLM이 생성한 이진 라벨 사이의 이진 교차 엔트로피(binary cross-entropy).
  • 기술 인식 정규화(Skill-Aware Regularization): 선형 분류기 헤드가 개념 벡터로부터 실제 기술(ground-truth skill)을 예측하도록 하여, 표현이 결정에 유효한 정보를 유지하도록 유도합니다.
• 시간적 맥락(Temporal Context): 장기적 의존성을 처리하기 위해, 정책 입력 $\tilde{c}_t$는 현재 개념 벡터를 이전 단계의 벡터와 결합($[c_{t-1}, c_t]$)하는 방식을 선택적으로 사용할 수 있습니다.

3. 구조화된 의사결정(Structured Decision Making)

고수준 정책은 개념 벡터를 이산적인 기술로 매핑하는 **결정 트리(decision tree)**로 구현됩니다.

• 추론 과정: 각 내부 노드는 단일 개념 차원에 대한 이진 술어(binary predicate)를 테스트합니다 (예: $c^{(k)}_t \leq \tau$). 결정은 루트에서 리프(leaf)까지의 경로를 탐색하는 것으로 이루어지며, 결과적으로 명시적인 개념 수준의 술어 시퀀스가 생성됩니다.
• 해석 가능성 및 개입: 결정 과정이 인간이 이해할 수 있는 개념에 대한 논리적 조건의 시퀀스이기 때문에, 오류를 특정 노드로 추적할 수 있습니다. 또한, 본 프레임워크는 **미세한 개입(fine-grained intervention)**을 지원합니다: 단일 개념 값(예: 잘못 인식된 bread_inside_microwave 상태를 수정)을 수정함으로써, 모델을 재학습시키지 않고도 결정 경로를 올바른 기술로 유도할 수 있습니다.

주요 기여

1. 투명한 의사결정을 위한 프레임워크: ConceptTree는 기술 선택을 인간이 해석 가능한 개념에 대한 추론으로 재정의하여, 가공되지 않은 시각적 입력과 구조화된 결정 논리 사이의 간극을 메웁니다.
2. VLM 기반 감독: 이 방법은 VLM을 사용하여 이진 개념 라벨을 생성하는 새로운 감독 전략을 도입하여, 수동 주석 없이도 신뢰할 수 있는 개념 표현을 학습하고 유사도 기반 감독의 모호성을 피합니다.
3. 개입 가능한 정책: 표현 학습과 트리 기반 결정 구조를 분리함으로써, 시스템은 결정 과정을 직접 검사하고 수정할 수 있게 합니다. 오류는 특정 개념 값으로 국소화될 수 있으며, 표적 개입을 통해 수정 가능합니다.
4. 실증적 검증: 이 접근 방식은 네 가지 실제 로봇 조작 작업(Fruits-Snacks, Heat-Bread, Cola, Coffee)에서 평가되었으며, 블랙박스 VLM 정책 및 기타 개념 기반 베이스라인 모델들에 비해 우수한 성능과 해석 가능성을 입증했습니다.

실험 결과

저자들은 ConceptTree를 네 가지 베이스라인(엔드 투 엔드 VLM 정책, 라벨이 없는 CBM(CLIP 기반), 선형 헤드를 가진 VLM 감독 CBM(VLG-CBM), 희소 선형 분류기를 사용하는 변형 모델(ConceptSLC))과 비교 평가했습니다.

• 성능: ConceptTree는 모든 작업에서 가장 높은 완수율(completion rates)을 달 기록했습니다. 특히 복잡한 장기적 시나리오(예: Coffee 작업: 히스토리가 포함된 경우 37.09% vs 5.45%)에서 블랙박스 VLM 정책을 크게 앞질렀습니다.
• 개념 기반 베이스라인과의 비교: VLG-CBM과 라벨 없는 CBM은 작업 복잡도가 증가함에 따라 성능이 크게 저하된 반면, ConceptTree는 견고한 성능을 유지했습니다.
• 결정 구조: 소거 연구(Ablation studies) 결과, ConceptTree는 복잡한 작업에서 동일한 개념 표현을 사용하지만 선형 분류기를 사용하는 ConceptSLC보다 일관되게 우수한 성능을 보였습니다. 이는 성능 향상이 단순히 개념 표현의 품질 때문이 아니라, 결정 트리의 구조적 추론에서 기인함을 나타냅니다.
• 효율성: ConceptTree는 짧은 경로(평균 길이 4개 미만의 술어)를 가진 압축된 결정 트리를 생성한 반면, 희소 선형 모델은 많은 개념에 걸쳐 분산된 증거에 의존하여 덜 간결한 국소적 설명을 제공했습니다.
• 개입 사례 연구: 질적 분석 결과, 단일 개념 값(예: bread_inside_microwave를 0.55에서 1.0으로 수정)을 수정하는 것만으로도 결정 경로를 실제 기술로 성공적으로 유도할 수 있음을 보여주었으며, 이는 프레임워크의 표적 디버깅 능력을 입증합니다.

의의 및 주장

본 논문은 ConceptTree가 로봇 조작의 핵심적인 누락된 인터페이스, 즉 인간이 해석 가능한 개념을 통해 시각적 관측에 고수준 결정을 접지하면서도 명시적이고 추적 가능한 결정 과정을 유지하는 능력을 해결한다고 주장합니다.

저자들은 이 접근 방식이 세 가지 뚜가한 장점을 제공한다고 주장합니다:

1. 추적 가능성(Traceability): 결정은 불투명한 출력이 아니라 논리적 술어의 시퀀스이며, 이를 통해 사용자는 왜 특정 기술이 선택되었는지 정확히 검사할 수 있습니다.
2. 개입 가능성(Intervenability): 시스템은 특정 결정 오류를 비용이 많이 드는 재학습 없이 개별 개념 값을 수정함으로써 수정할 수 있는 "미세한 개입"을 지원합니다.
3. 신뢰성(Reliability): 지각(개념 학습)과 결정 논리(트리 구조)를 분리함으로써, 블랙박스 방식이 실패하는 복잡한 장기적 작업에서도 견고한 성능을 달성합니다.

저자들은 한계점도 인정하였는데, 개념 표현의 품질이 VLM 감독에 의존한다는 점(VLM이 미묘한 시각적 상태를 파악하는 데 어려움을 겪을 수 있음)과, 방법론이 사전 정의된 개념 및 기술 집합에 의존하여 완전히 개방적인 작업으로의 확장성이 제한될 수 있다는 점을 언급했습니다. 그러나 이들은 개념적으로 접지된 표현과 명시적인 결정 구조를 결리하는 것이 해석 가능하고 신뢰할 수 있는 로봇 시스템을 구축하는 유망한 방향이라고 결론지었습니다.