[기술 요약] LogicAgent: 비디오의 프로세스 추론을 위한 신경-기호학적(Neuro-Symbolic) 프레임워크

1. 문제 정의 (Problem Statement)

현재의 최첨단 비디오-텍스트(Video-to-Text) 모델들은 객체나 동작을 인식하는 능력은 뛰어나지만, 사건이 '어떻게' 또는 '왜' 발생하는지에 대한 인과적 역동성을 포착하는 데 실패합니다. 논문은 이를 **'프로세스 맹목(Process Blindness)'**이라고 정의합니다.

• 기존 모델의 한계: 비디오를 연속적인 논리 구조가 아닌, 개별적인 상태(State)들의 집합으로 처리합니다. 이로 인해 "공이 골대에 있다. 그 후 선수가 공을 찬다"와 같이 인과관계가 뒤바뀐 **논리적 불일치(Logical Incoherence)**나, 사건 간의 연결 고리가 끊어진 서사적 파편화(Narrative Fragmentation) 현상이 발생합니다.
• 기존 신경-기호학적 접근의 문제: 기존 방식은 논리적 일관성을 사후적인 제약 조건(Post-hoc constraint)으로만 처리하여, 논리적 오류가 시각적 특징 학습(Perceptual Encoder)에 피드백되지 않는 '그래디언트 고립(Gradient Isolation)' 문제를 겪습니다.

2. 제안 방법론 (Methodology: LogicAgent)

본 논문은 비디오 이해를 단순한 매핑이 아닌, 학습 가능한 프로세스 변수로 재정의하는 LogicAgent 프레임워크를 제안합니다. 핵심은 논리적 추론 체인($C$)을 미분 가능한 잠재 변수(Differentiable Latent Variable)로 취급하여 최적화하는 것입니다.

핵심 구성 요소 (Three Core Components)

1. Grounded Eventifier (근거 기반 이벤트 생성기): 연속적인 비디오 특징을 이산적이고 검증 가능한 '이벤트 단위'($E$)로 변환합니다. 각 이벤트는 [전제(Premise), 동작(Action), 객체(Object)]의 구조화된 트리플렛과 시공간적 지원(Temporal Support) 정보를 포함합니다.
2. Discrete CoT Generator (이산적 사고 사슬 생성기): 학습된 코드북(Codebook)을 사용하여 이벤트 간의 관계를 나타내는 기호적 추론 체인($C$)을 구성합니다. (예: "A가 B를 한 후, C가 발생한다")
3. Hybrid Differentiable Logic Verifier (하이브리드 미분 가능 논리 검증기): 생성된 추론 체인이 실제 비디오 증거와 논리적으로 일치하는지 점수를 매깁니다. 시간적 논리(Temporal Logic)와 의미적 논리(Semantic Logic)를 모두 검증합니다.

기능적 최적화 패러다임 (Functional Optimization)

LogicAgent는 단순히 텍스트를 생성하는 것을 넘어, 다음 네 가지 목적 함수를 동시에 최적화합니다:

• $\mathcal{L}_{pred}$ (예측 유용성): 추론 체인이 미래의 상태를 정확히 예측할 수 있는지 확인합니다.
• $\mathcal{L}_{LTL}$ (시간적-논리적 일관성): 사건의 순서가 시간적 흐름과 일치하는지 검증합니다.
• $\mathcal{L}_{CF}$ (반사실적 강건성, Counterfactual Robustness): "만약 사건이 일어나지 않았다면?"과 같은 가상의 시나리오(Negative Sample)를 통해 단순한 상관관계가 아닌 실제 인과관계를 학습하도록 강제합니다.
• $\mathcal{L}_{spar}$ (희소성): 불필요하게 긴 추론을 방지하고 간결하고 핵심적인 체인을 생성하도록 유도합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 패러다임 제시: 논리적 제약을 사후 검증이 아닌, 학습 과정의 핵심 변수로 통합하여 '그래디언트 고립' 문제를 해결했습니다.
2. 신경-기호학적 통합: 연속적인 시각 데이터와 이산적인 기호 논리를 미분 가능한 방식으로 연결하는 프레임워크를 구축했습니다.
3. 인과적 추론 능력 강화: 반사실적 학습(Counterfactual Learning)을 통해 모델이 시각적 상관관계(Spurious Correlation)에 빠지지 않고 실제 인과 구조를 학습하게 했습니다.

4. 실험 결과 (Results)

LogicAgent는 다양한 벤치마크에서 기존 모델들을 압도하는 성능을 보였습니다.

• SOTA 달성: 1.69B라는 상대적으로 작은 파라미터 수로도 Qwen3-VL-8B와 같은 거대 모델보다 높은 성능을 기록했습니다. 특히 인과적 이해(Causal Understanding)와 서사적 일관성에서 탁월했습니다.
• 거대 모델과의 비교: GPT-4o와 비교했을 때, MMIU(다중 의도 이해) 벤치마크에서 더 높은 성능을 보였으며, 이미지 일관성(Image Consistency) 측면에서도 우수하여 환각(Hallucination) 현상이 적음을 증명했습니다.
• 데이터 효율성: 데이터가 매우 적은 환경(1% 라벨링 데이터)에서도 기존의 통계적 모델이나 신경-기호학적 모델보다 훨씬 빠르게, 그리고 강력하게 학습되었습니다. 이는 모델이 가진 강력한 귀납적 편향(Inductive Bias) 덕분입니다.
• 환각 억제: POPE 및 MME 벤치마크를 통해, 논리적 검증 과정이 모델이 존재하지 않는 객체를 지어내거나 물리적으로 불가능한 상황을 설명하는 것을 효과적으로 억제함을 확인했습니다.

5. 의의 및 결론 (Significance)

본 논문은 비디오 이해의 패러다임을 '상태 인식(State Perception)'에서 '프로세스 추론(Process-level Reasoning)'으로 전환시켰습니다.

LogicAgent는 단순히 "무엇이 보이는가"를 넘어 **"사건이 왜, 어떤 순서로 일어나는가"**를 이해할 수 있는 구조를 제공합니다. 이는 자율주행, 로보틱스, 보안 감시와 같이 **설명 가능성(Explainability)**과 인과적 신뢰성이 필수적인 안전 중심(Safety-critical) 응용 분야에서 매우 중요한 기술적 진보를 의미합니다.