기술 요약: REASON – 뼈대 기반 인간 동작 인식에서의 개념 주도 논리적 추론을 위한 신경 심볼릭 프레임워크

문제 제기

뼈대 기반 인간 활동 인식 (HAR) 은 그래프 합성곱 네트워크 (GCN) 를 포함한 딥러닝 모델을 사용하여 강력한 경험적 성능을 달성해 왔습니다. 그러나 이러한 모델은 "블랙박스"로 작동하여 해석 가능성이 부족합니다. 이러한 불투명성은 투명한 의사결정이 필수적인 의료 및 재활과 같은 고위험 분야에서 문제가 됩니다. 또한 기존 신경 심볼릭 접근법은 근본적인 통합 과제를 안고 있습니다:

1. 상징의 그라운딩 (Symbol Grounding): 연속적인 관절 궤적과 이산적인 심볼릭 술어 간의 연결은 어렵습니다. 전통적인 휴리스틱 (예: "무릎 각도 < 90°") 은 취약하며, 자세 변화나 시점 변화 하에서 실패합니다.
2. 시간적 역동성: 동작은 본질적으로 시간적입니다. 순수한 공간 논리는 실행 순서나 운동 방향이 다른 유사한 정적 자세를 가진 동작 (예: 안경 쓰기 대 안경 벗기) 을 구별할 수 없습니다.
3. 종단 간 학습 (End-to-End Learning): 이산 부울 연산자는 일반적으로 그래디언트 전파를 차단하여 지각 (특징 추출) 과 추론 (규칙 적용) 의 공동 최적화를 방해합니다.

방법론: REASON 프레임워크

저자들은 학습 가능한 운동 원시 (motion primitives) 에 대한 개념 주도 1 차 논리적 추론으로 동작 인식을 재정의하는 신경 심볼릭 프레임워크인 REASON(Rule-based Explainable Action via Symbolic cONcepts) 을 제안합니다. 이 프레임워크는 네 가지 주요 단계를 통해 작동합니다:

1. 개념 은행 (Concept Bank) 생성

수동 휴리스틱에 의존하는 대신, 저자들은 3 단계 대형 언어 모델 (LLM) 파이프라인을 사용하여 공간, 시간 및 상호작용 운동 원시로 구성된 개념 은행 $\mathcal{C}$를 구축합니다:

• 기술 생성: LLM(GPT-3) 이 동작을 세분화된 신체 부위 기술로 분해합니다 (예: "다리: 무릎에서 구부린 후 폭발적으로 밀어 올림").
• 추상화 및 클러스터링: 원시 기술은 동사 - 방향 - 수식어 패턴을 추출하고, 이를 임베딩한 후 k-means 를 통해 클러스터링하여 표준화된 개념으로 변환합니다. 이를 통해 공간 개념 (예: 팔 들어 올리기, 다리 점프) 이 도출됩니다.
• 시간 및 상호작용 정의: 운동 방향 (상향 운동), 순서 (손 먼저), 역동성 (빠른 속도) 을 포착하기 위해 명시적인 시간 개념이 정의됩니다. 상호작용 개념은 상호 작용을 처리합니다.
• 연결: 두 번째 LLM(LLaMA-3.2) 이 동작을 개념 은행에 매칭하여, 개념 $c$가 동작 $a$에 대해 활성화되면 $M_{a,c}=1$이 되는 이진 연결 행렬 $M$을 생성합니다. 최종 은행에는 74 개의 개념 (52 개 공간, 21 개 시간, 1 개 상호작용) 이 포함됩니다.

2. 뼈대 표현 학습

전역 풀링 없이 입력 시퀀스 $X \in \mathbb{R}^{T \times V \times 3}$를 처리하여 세밀한 운동 정보를 보존하는 표준 시공간 뼈대 인코더 (예: Hyper-GCN) 가 사용됩니다. 인코더는 세 가지 브랜치로 입력됩니다:

• STC-디코더: 개념 활성화를 예측합니다.
• 텍스트 정렬: CLIP 인코더 (LoRA 미세 조정 적용) 로 생성된 개념 기반 텍스트 임베딩과 풀링된 뼈대 특징을 대비 손실 ($L_{align}$) 을 사용하여 정렬합니다. 이는 뼈대 특징이 의미론적 기술과 함께 클러스터링되도록 보장합니다.
• 부위 발산 (Part Divergence): 손실 ($L_{div}$) 은 서로 다른 신체 부위의 특징 간 높은 코사인 유사성을 패널티로 주어, 각 해부학적 영역에 대한 구별 가능한 표현을 보장합니다.

3. 시공간 개념 디코더 (STC-Decoder)

이 모듈은 연속적인 특징과 심볼릭 술어 간의 연결을 담당합니다. 인코더 특징을 공간 ($F_s$) 및 시간 ($F_t$) 스트림으로 분리합니다.

• 그룹 디코딩: 이질적인 개념 관계의 복잡성을 처리하기 위해 개념은 그룹으로 분할됩니다. 학습 가능한 쿼리 행렬이 교차 주의를 수행하여 특정 개념 부분집합과 관련된 뼈대 정보를 선택적으로 집계합니다.
• 예측: 그룹-FC 레이어가 이러한 쿼리를 부드러운 개념 확률 $\hat{c} \in [0, 1]^{|\mathcal{C}|}$로 투영합니다.

4. 미분 가능한 1 차 논리 추론

종단 간 학습을 가능하게 하면서 이산적 해석 가능성을 유지하기 위해:

• 이진화: Straight-Through Estimator (STE) 를 사용하여 부드러운 예측을 이진화 ($\bar{c} = \mathbb{I}[\hat{c} > 0.5]$) 하여 그래디언트 흐름을 허용합니다.
• 논리 레이어: 결합 (AND) 및 분리 (OR) 의 중첩된 레이어가 개념을 규칙으로 구성합니다.
• 그래디언트 접목 (Gradient Grafting): 순전파 중에는 추론을 위해 이산 연산과 가중치를 사용합니다. 역전파 중에는 연속 완화 (소프트 AND/OR) 를 통해 그래디언트를 계산하고 이를 이산 경로에 "접목"하여 희소하고 해석 가능한 논리 규칙의 학습을 가능하게 합니다.
• 분류: 선형 분류기가 규칙 활성화를 최종 동작 예측으로 매핑합니다.

주요 기여

1. REASON 프레임워크: 뼈대 기반 HAR 을 위한 새로운 신경 심볼릭 공식으로, 개념 기반 표현과 미분 가능한 1 차 논리를 통합하여 종단 간 학습을 가능하게 합니다.
2. STC-디코더: 공간 신체 구성 및 시간 운동 역동성 개념을 독립적으로 추출하는 전용 디코더로, 실행 변이성에 대한 견고한 추상화를 제공합니다.
3. 개념 은행: LLM 을 통해 생성된 NTU RGB+D 및 NW-UCLA 데이터셋을 위한 74 개의 공간 및 동적 운동 개념으로 구성된 큐레이션된 은행으로, 수동 나열 없이 의미론적 풍부함을 보장합니다.
4. 해석 가능성: 시스템은 지역적 해석 가능성 (인스턴스별 개념 활성화) 과 전역적 해석 가능성 (동작 의미를 지배하는 인간 가독성 논리 규칙) 을 모두 제공합니다.

실험 결과

이 프레임워크는 NTU RGB+D 60/120 및 NW-UCLA 벤치마크에서 평가되었습니다.

• 성능: REASON 은 경쟁력 있는 성능을 달성하여 여러 블랙박스 기준 모델을 능가합니다.
  • **NTU RGB+D 60(X-Sub)**에서 **94.3%**의 정확도 (4 스트림) 를 달성하여 Hyper-GCN(93.7%) 및 BlockGCN(93.1%) 과 같은 강력한 GCN 기준 모델을 능가했습니다.
  • **NTU RGB+D 120(X-Set)**에서 **91.9%**에 도달했습니다.
  • NW-UCLA에서 **97.9%**를 달성했습니다.
• LLM 재순위화: 개념 활성화를 기반으로 한 LLaMA-3.2 7B 를 사용한 선택적 재순위화 단계는 성능을 95.6%(NTU-60 X-Sub) 및 93.2%(NTU-120 X-Set) 로 추가로 향상시켜, 불투명한 특징에 의존하는 다른 LLM 증강 방법을 능가했습니다.
• 절대 연구 (Ablation Studies):
  • 시간 개념: 공간 개념에 시간 개념을 추가하면 정확도가 +7.8% 향상되어 유사한 자세를 구별하는 데 필수적임이 확인되었습니다.
  • 논리 레이어 용량: 128 노드 구성이 최적이었으며, 부정을 비활성화하면 49.87% 로 치명적인 하락이 발생하여 $\neg$ 개념 (예: $\neg$ 다리 걷기를 통해 서 있기와 걷기를 구별) 의 필요성을 강조했습니다.
  • 개념 개입: 논리 체인에서 잘못 예측된 개념을 수정하면 정확도가 단조롭게 향상되었습니다 (3 회 수정 시 최대 +5.67%), 이는 오류가 주로 결함 있는 논리 규칙이 아닌 개념 오예측에서 비롯됨을 증명했습니다.

중요성 및 주장

이 논문은 신경 심볼릭 추론이 해석 가능한 시공간 동작 이해를 위한 효과적인 패러다임이라고 주장합니다. 학습 가능한 운동 개념에 뼈대 표현을 그라운딩하고 미분 가능한 논리를 통해 이를 구성함으로써 REASON 은 완전히 투명한 개념 - 규칙 추론 체인을 유지하면서 최첨단 성능을 달성합니다.

사후 설명이나 취약한 수동 제작 규칙에 의존하는 이전 작업과 달리, REASON 은 데이터에서 직접 동작 정의 규칙을 학습합니다. 저자들은 이 접근법이 올바른 분류와 실패 사례 모두에 대한 체계적인 분석을 가능하게 하여, 예측의 "왜"가 예측 자체만큼 중요한 안전 필수 응용 분야에서 신뢰할 수 있는 AI 로 가는 길을 제시한다고 강조합니다. 이 프레임워크는 정확성이나 확장성을 희생하지 않고 신경 지각과 심볼릭 추론 간의 격차를 해소할 수 있음을 보여줍니다.