1. 문제 정의 (Problem)

embodied AI(신체화된 인공지능) 시스템에서 절차적 계획 (Procedural Planning) 은 고수준의 언어 명령을 구체적인 행동 시퀀스로 분해하는 과정입니다. 기존 비전 - 언어 모델 (VLM) 기반 접근법들은 다음과 같은 한계를 가지고 있습니다.

• 명시적 공간 표현에 대한 과도한 의존: 기존 모델들은 주로 바운딩 박스 (Bounding Box) 나 객체 좌표와 같은 명시적인 기하학적 정보에 의존합니다.
• 암시적 관계 및 심층 의미 구조의 간과: 객체 속성 (예: "위치를 잡을 수 있다", "지지된다" 등) 을 통해 전달되는 암시적 공간 관계와, 객체 그룹이 형성하는 기능적 영역 (예: "식탁 구역", "부엌") 의 계층적 의미 구조를 효과적으로 포착하지 못합니다.
• 계획 실패: 이러한 심층 의미 구조를 이해하지 못하면 모델은 복잡한 장면에서 고립된 객체들의 집합으로만 장면을 인식하여, 논리적 교착 상태 (Deadlock) 나 반복적인 행동과 같은 비효율적인 계획 오류를 범합니다.

2. 방법론 (Methodology)

저자들은 이러한 문제를 해결하기 위해 GaLa라는 새로운 프레임워크를 제안했습니다. GaLa 는 비전과 언어 사이의 중간 의미 추상화 단계로 초그래프 (Hypergraph) 기반 표현을 도입합니다.

가. 하이퍼그래프 의미 구성 (Hypergraph Semantic Construction)

• 노드 (Nodes): 이미지에서 감지된 개별 객체 인스턴스 (YOLO-World 등을 활용) 를 노드로 정의합니다. 각 노드는 위치, 카테고리, 속성 텍스트를 포함합니다.
• 초에지 (Hyperedges): DBSCAN 과 같은 밀도 기반 클러스터링을 통해 공간적으로 일관된 객체 그룹을 식별하고, 이를 기능적 영역 (예: "부엌") 으로 매핑하여 초에지로 정의합니다.
• 의미 추론: LLM(InternVL-3) 을 사용하여 객체 그룹의 카테고리 레이블을 집계하고, 이를 바탕으로 영역 수준의 의미 레이블 (예: "Dining Area") 을 생성합니다. 또한, 객체 속성이 정상 상태인지 반사실적 (Counterfactual) 인지 여부를 점수화합니다.

나. Tri-View HyperGraph Encoder (삼시점 하이퍼그래프 인코더)

생성된 하이퍼그래프 정보를 VLM 에 효과적으로 주입하기 위해 대조 학습 (Contrastive Learning) 을 기반으로 한 삼시점 인코더를 설계했습니다. 이는 세 가지 관점 간의 의미 일관성을 강제합니다.

1. 노드 뷰 (Node-view): 개별 객체 간의 관계 학습.
2. 영역 뷰 (Area-view): 기능적 영역 (초에지) 간의 관계 학습.
3. 노드 - 영역 연관 뷰 (Node-Area association view): 객체와 해당 영역 간의 실제 소속 관계를 학습 (가짜 소속 관계와 구별).

이 과정을 통해 InfoNCE 손실 함수를 사용하여 세 가지 뷰 간의 표현을 정렬함으로써, VLM 이 미세한 객체 의미와 고차원적인 관계 구조를 모두 보존할 수 있도록 합니다.

다. 전체 파이프라인

1. Step 1: 시각 입력으로부터 하이퍼그래프 의미 정보 구성.
2. Step 2: Tri-View 인코더를 통해 하이퍼그래프 지식을 Chain-of-Thought (CoT) 방식으로 최적화 및 정제.
3. Step 3: 정제된 하이퍼그래프 지식을 VLM 에 입력하여 다음 행동을 예측하고 훈련 수행.

3. 주요 기여 (Key Contributions)

1. 초그래프 기반 구조적 의미 정보의 도입: VLM 기반 절차적 계획 아키텍처에 그래프 이론적 구조적 의미 정보를 처음 도입한 프레임워크 (GaLa) 를 제안했습니다.
2. 하이퍼그래프 의미 인코더 설계: 시각 정보를 의미 정보가 풍부한 하이퍼그래프로 변환하여 이미지 내의 구조적 의미를 강화하는 인코더를 개발했습니다.
3. Tri-View 하이퍼그래프 인코더: 대조 학습을 통해 노드, 영역, 그리고 그 연관 관계를 모두 보존하고 VLM 에 효과적으로 전달하는 메커니즘을 제안했습니다.

4. 실험 결과 (Results)

ActPlan-1K 및 ALFRED 벤치마크에서 기존 최첨단 (SOTA) 모델들과 비교 평가되었습니다.

• 성능 향상: GaLa 는 실행 성공률 (Executability), 최장 공통 부분 수열 (LCS), 계획 정확도 (Correctness) 모든 지표에서 기존 모델 (GPT-4o, LLaVA, InternVL 시리즈, LLaPa 등) 을 크게 상회했습니다.
  • ActPlan-1K (정상 활동): 실행률 65.8%, LCS 0.66, 정확도 47.5% 달성 (기존 최고 모델 대비 우위).
  • ALFRED: 실행률 89.9%, LCS 0.67, 정확도 50.1% 달성.
• 반사실적 (Counterfactual) 상황 강건성: 비정상적인 조건에서도 모델이 적응형 계획을 수행하는 능력이 향상됨을 확인했습니다.
• Ablation Study:
  • 하이퍼그래프 구성을 제거한 경우 (w/o Hyper) 성능이 크게 저하되어, 암시적 관계 모델링의 중요성을 입증했습니다.
  • Tri-View 대조 학습 (노드, 에지, 전체) 을 각각 제거했을 때 성능이 감소하여, 세 가지 뷰의 조화가 최적의 성능에 필수적임을 보였습니다.

5. 의의 및 결론 (Significance)

이 연구는 embodied AI 의 절차적 계획 분야에서 시각적 공간 추론의 패러다임 전환을 시도했습니다.

• 구조적 추론의 부활: 단순한 객체 감지를 넘어, 객체 간의 함의적 (Implicit) 관계와 기능적 영역을 명시적으로 모델링함으로써 VLM 이 물리적 제약과 공간적 맥락을 더 잘 이해하도록 돕습니다.
• 논리적 오류 감소: 하이퍼그래프를 통한 구조화된 지식 주입은 모호한 상황에서의 논리적 교착 상태나 비일관된 행동 시퀀스를 방지하여, 더 안전하고 효율적인 로봇 행동을 가능하게 합니다.
• 미래 방향: 복잡한 다중 객체 상호작용이 필요한 실제 환경에서의 로봇 제어 및 계획 시스템 개발에 중요한 기초를 제공하며, 그래프 기반 표현 학습이 VLM 의 추론 능력을 어떻게 증강시킬 수 있는지를 입증했습니다.

요약하자면, GaLa는 시각 데이터를 단순한 픽셀이나 객체 목록이 아닌, 의미적으로 연결된 하이퍼그래프로 재구성함으로써 VLM 이 복잡한 환경에서 더 정확하고 논리적인 행동을 계획할 수 있게 한 혁신적인 접근법입니다.