기술 요약: ProAct: 구조 인지형 선제적 대응을 위한 벤치마크 및 멀티모달 프레임워크

1. 문제 정의

현재의 로봇 에이전트는 주로 명시적인 지시를 받은 후에만 행동을 수행하는 수동적(passive) 방식으로 작동합니다. 이러한 의존성은 인간 사용자의 인지 부하를 가중시키고 로봇 시스템의 자율성을 제한합니다. 이와 대조적으로, **선제적 에이전트(proactive agents)**는 언제 개입할지, 그리고 어떤 행동을 취할지를 결정하기 위해 환경을 지속적으로 모니터링함으로써 상위 수준의 목표(예: 보조, 유지보수, 안전 모니터링)에 부합하는 것을 목표로 합니다.

그러나 이러한 에이전트를 개발하는 데 있어 기존 리소스에는 두 가지 결정적인 격차가 존재하여 어려움을 겪고 있습니다:

1. 특화된 리소스의 부족: 기존의 비디오 이해 벤치마크는 일관된 시간적 입도(temporal granularity), 통일된 계층적 작업 모델링, 또는 작업 의존성에 대한 명시적인 구조적 표현이 부족한 경우가 많습니다.
2. 구조적 접지(Structural Grounding)의 부재: 시간적 선후 관계와 병렬 실행 가능성을 인코딩하는 명시적인 작업 그래프가 없으면, 에이전트는 모든 단계를 순차적으로 처리해야만 합니다. 이는 에이전트가 독립적인 작업을 병렬로 수행할 기회를 식별하는 것을 방해하며, 결과적으로 불필요하게 긴 워크플로우를 초래하거나 워크플로우 중단(예: 로봇이 사람이 기존 봉투를 제거할 때까지 기다리는 대신, 동시에 새 봉투를 준비하는 대신 기다리는 상황)을 유발합니다.

본 논문은 에이전트가 트리거를 감지하고, 현재 상태를 식별하며, 미래의 인간 행동을 예측하고, 작업 그래프 제약 조건 하에서 최적의 다음 로봇 행동을 선택해야 하는 비전 기반 선제적 대응(vision-based proactive response) 문제를 다룹니다.

2. 방법론

2.1. ProAct-75 벤치마크

이 분야의 연구를 촉진하기 위해 저자들은 보조(Assistance), 유지보수(Maintenance), **안전 모니터링(Safety Monitoring)**의 세 가지 시나리오를 아우르는 ProAct-75를 소개합니다.

• 데이터 구성: 이 데이터셋은 75개의 작업과 5,383개의 비디오, 91,581개의 단계별 주석으로 구성됩니다. 데이터는 공개 소스(COIN, Ego-Exo4D, UCF-Crime)에서 수집되었으며, 과소 대표되는 작업을 커버하기 위해 495개의 자체 수집 클립을 추가했습니다.
• 주석 프로토콜: 비디오는 일관된 원자적 행동 수준의 입도로 재주석 처리되었습니다. 결정적으로, 각 작업에는 명시적인 작업 그래프(Task Graph)(AND/OR 의존성을 가진 유향 비순환 그래프)가 부여되었습니다. 이 그래프는 다음을 인코딩합니다:
  • 선행 제약 조건(Precedence Constraints): 다른 단계보다 앞서야 하는 단계들.
  • 병렬 스레드(Parallel Threads): 동시에 실행 가능한 독립적인 브랜치들.
  • 중간 수준 추상화(Mid-level Abstractions): 원자적 단계들의 계층적 그룹화.
• 평가 작업: 이 벤치마크는 다섯 가지 특정 능력을 평가합니다:
  1. 트리거 감지(Trigger Detection): 개입이 필요한지 결정.
  2. 단계 감지(Step Detection): 워크플로우 내 현재 단계를 위치 파악.
  3. 작업 감지(Task Detection): 상위 수준의 작업을 식별.
  4. 미래 행동 예측(Future Action Prediction): 다음 $n$개의 인간 행동을 예측.
  5. 선제적 행동 선택(Proactive Action Selection): 작업 그래프 하에서 실행 가능한 다음 로봇 행동을 선택.

2.2. ProAct-Helper 프레임워크

저자들은 인지 기능과 그래프 제약 계획을 통합하는 멀티모달 대규모 언어 모델(MLLM) 기반의 참조 베이스라인인 ProAct-Helper를 제안합니다.

• 계층적 바인딩 모듈(Hierarchical Binding Module, HBM): 롱테일 분포의 작업과 단계를 처리하기 위해, ProAct-Helper는 HBM을 채택합니다. 이 모듈은 대조 학습 손실(contrastive losses)을 사용하여 부모(트리거/작업) 레벨과 자식(단계) 레벨 표현 간의 일치성을 극대화함으로써 교차 레벨의 의미론적 일관성을 강제합니다. 이는 희귀 클래스를 인식하고 예측 계층 전반의 일관성을 유지하는 모델의 능력을 향상시킵니다.
• 엔트로피 기반 휴리스틱 탐색(Entropy-Driven Heuristic Search): 행동 선택을 위해, 이 프레임워크는 단순히 인간의 다음 단계를 모방하지 않습니다. 대신, 작업 그래프를 활용하여 AND/OR 제약 조건을 충족하는 **법적 행동($A_{legal}$)**을 식별합니다.
  • 시스템은 인간과 로봇의 행동을 병렬 스레드에 대한 분포로 모델링합니다.
  • 시스템은 **스레드 혼합 엔트로피(thread mixing entropy, $H_{mix}$)**를 계산하며, 이는 빈번한 스레드 전환(높은 인지 부하)과 두 에이전트가 동일한 스레드에서 동시에 작업하는 혼합 실행을 페널티화합니다.
  • 에이전트는 $H_{mix}$를 최소화하는 행동을 선택하며, 이를 통해 선행 제약 조건을 위반하지 않는 한 인간의 현재 스레드와 다른 병렬 스레드에서의 행동을 우선시합니다.

3. 주요 기여

1. ProAct-75 벤치마크: 보조, 유지보수 및 안전 시나리오 전반에 걸쳐 명시적인 작업 그래프와 구조 인지형 주석을 특징으로 하는 비전 기반 선제적 대응을 위한 포괄적인 데이터셋입니다.
2. ProAct-Helper 프레임워크: 견고한 상태 인식을 위한 계층적 바인딩 모듈과 구조 인지형 행동 선택을 위한 엔트로피 기반 휴리스틱 탐색을 결합한 MLLM 기반의 멀티모달 베이스라인입니다.
3. 실증적 검증: ProAct-Helper가 상태 인식 및 협업 효율성 측면에서 강력한 폐쇄형 및 오픈 소스 MLLM들을 능가함을 보여주는 광범한 실험을 수행했습니다.

4. 실험 결과

실험은 ProAct-75에서 수행되었으며, ProAct-Helper(Qwen2.5-VL-7B 기반)를 GPT-4o, Gemini-2.5-Pro 및 기타 Qwen 변체들을 포함한 다양한 베이스라인과 비교했습니다.

• 상태 인지(State Perception): ProAct-Helper는 트리거, 작업 및 단계 감지에서 베이스라인을 크게 앞질렀습니다. 구체적으로, 가장 우수한 폐쇄형 베이스라인인 Gemini-2.5-Pro 대비 Task F1은 17.09%, Step F1은 11.72% 향상되었습니다. HBM 모듈은 Task mF1에서 2.71%, **Step mF1에서 1.63%**의 추가적인 개선을 가져왔으며, 이는 롱테일 카테고리를 처리하는 데 있어 그 효과를 입증합니다.
• 선제적 행동 선택(Proactive Action Selection):
  • 절약된 단계(Saved Steps, SS): ProAct-Helper는 가장 우수한 베이스라인보다 상호작용당 0.361개 더 많은 단계를 절약하여, 더 효율적인 협업을 보여주었습니다.
  • 병렬 행동(Parallel Actions, PA): 이 프레임워크는 베이스라인 대비 병렬 행동 비율을 15.58% 증가시켜, 순차적인 인간의 단계를 기다리는 대신 독립적인 스레드를 동시에 실행하는 능력을 입증했습니다.
  • 엔트로피 감소: 이 방법은 더 낮은 스레드 혼합 엔트로피를 달로, 인간과 로봇 스레드 간의 빈번한 전환 없이 더 매끄러운 조율을 실현했습니다.
• 강건성(Robustness): 서로 다른 카메라 뷰포인트를 포함하는 OOD(Out-of-Distribution) 평가에서, Pro-Act-Helper는 Ego-Exo4D(약 15% 유지)와 같은 베이스라인에 비해 현저히 높은 성능(최적 뷰 성능의 약 73% 유지)을 유지했습니다.

5. 의의 및 주장

본 논문은 ProAct-75가 수동적인 지시 이행 에이전트를 넘어 진정한 선제적 시스템으로 나아가기 위해 필요한 구조적 접지를 제공한다고 주장합니다. 저자들은 기존의 MLLM들이 입력으로 작업 그래프가 제공되더라도 이를 활용하는 데 어려움을 겪으며, 종종 순차적 실행으로 회귀하거나 병렬 기회를 식별하는 데 실패한다는 점을 강조합니다.

ProAct-Helper는 명시적인 작업 그래프를 엔트로피 기반 탐색과 결합함으로써 에이전트가 다음과 같은 성과를 낼 수 있음을 보여줍니다:

• 병렬 스레드를 실행함으로써 워크플로우 중단을 줄임.
• 인간의 단계를 절약함으로써 협업 효율성을 높임.
• 다양한 뷰포인트 및 롱테일 작업 분포 전반에서 강건성을 유지함.

저자들은 이 연구를 구조 인지형 선제적 대응을 향한 기초적인 단계로 규정하며, 향-후 연구 방향으로 그래프 적합 디코딩(graph-feasible decoding)을 활용하고, 합리적인 선제적 행동을 더욱 정교하게 만들기 위해 벤치마크의 트리거 설명을 사후 학습(post-training)에 활용할 것을 제안합니다. 논문은 플래너가 경량 휴리스틱임에도 불구하고, 그 성공이 선제적 에이전트 설계에서 구조적 제약의 필요성을 입증한다고 결론짓습니다.