SKG-VLA: Scene Knowledge Graph Priors for Structured Scene Semantics and Multimodal Reasoning for Decision Making

SKG-VLA 기술 요약: 구조화된 장면 의미론을 위한 장면 지식 그래프 사전 지식 및 의사결정을 위한 다중 모달 추론

1. 문제 정의

본 논문은 대규모 온라인 서비스 플랫폼의 현재 자동화된 민원 처리 시스템이 가진 한계를 다룹니다. 기존 시스템은 일반적으로 고립된 모달리티 (예: 텍스트 내러티브, 스크린샷, 메타데이터) 에 대한 얕은 분류나 템플릿 매칭에 의존하며, 명시적인 장면 구조, 규칙 지식, 그리고 교차 증거 의존성을 활용하지 못합니다.

민원 의사결정은 본질적으로 복잡하며, 다음과 같은 이질적인 증거에 대한 조율된 추론을 요구합니다:

• 사용자 주장 및 내러티브: 핵심 민원 설명.
• 시각적 증거: 스크린샷, 영수증, UI 캡처.
• 거래 맥락: 주문 기록, 타임스탬프, 서비스 단계.
• 정책 제약: 플랫폼 규칙, 자격 조건, 그리고 에스컬레이션 기준.
• 과거 상호작용: 이전 협상 내역.

저자들은 명시적인 구조적 표현 없이는 모델이 종종 정책과 일관되지 않지만 그럴듯한 추천을 생성한다고 주장합니다. 핵심적인 과제는 단순한 분류에서 구조화된 장면 의미론에 기반한 다중 모달 추론으로 전환하여 결정이 정책, 증거의 충분성, 그리고 책임 귀속에 기반하도록 보장하는 것입니다.

2. 방법론: SKG-VLA 프레임워크

제안된 솔루션인 SKG-VLA는 각 민원 사례를 "민원 장면"으로 간주하고, **장면 지식 그래프 (Scene Knowledge Graph, SKG)**를 중심 표현으로 활용합니다. 방법론은 세 가지 주요 구성 요소로 이루어집니다:

A. 장면 지식 그래프 (SKG) 표현
SKG 는 민원 사례를 통합된 그래프 $G = (V, E, A)$로 모델링하며, 여기서:

• 노드 ($V$): 민원 엔티티, 증거 항목, 정책 조항, 시간적 사건, 거래 상태, 그리고 결정 노드를 포함합니다.
• 관계 ($E$): 위의 엔티티들을 연결하는 유형화된 관계입니다.
• 속성 ($A$): 노드별 속성입니다.
  저자들은 그래프 일반화를 안내하기 위해 노드를 결정 방향에 결정적인 (예: 주문 상태, 정책 조항) 강하게 결합된 노드와 주변적인 세부 사항인 약하게 결합된 노드로 분류합니다.

B. 데이터 합성 파이프라인
명시적인 장면 구조와 감사 가능한 행동 감독이 포함된 데이터셋의 부재를 극복하기 위해, 저자들은 3 단계 파이프라인을 통해 대규모 데이터셋을 구축합니다:

1. 생성: LLM 기반 파서가 원시 다중 모달 증거 ($X = \{x_{text}, x_{img}, x_{meta}, x_{hist}, x_{rule}\}$) 를 초기 SKG ($G_0$), 구조화된 장면 설명 ($D_0$), 그리고 QA 쌍 ($Q_0$) 으로 변환합니다.
2. 검증: 그래프, 증거, 그리고 정책 간의 일관성을 검증하는 반복 루프가 출력을 ($G_k, D_k, Q_k$) 수렴할 때까지 정제합니다.
3. 일반화: 규칙 제약 그래프 편집 ($\Phi$) 을 적용하여 장면 공간을 확장하고, 논리적 유효성을 유지하면서 증거의 충분성이나 서비스 단계를 수정하는 규칙 일관성 변형을 생성합니다.

C. 3 단계 훈련 전략
이 프레임워크는 구조화된 장면 사전 지식을 다중 모달 결정 모델에 주입하기 위해 다음을 수행합니다:

1. 도메인 적응 사전 훈련: 생성된 장면 설명과 QA 데이터를 사용하여 언어 모델을 민원 도메인 의미론에 적응시킵니다.
2. 작업 지향적 지시 미세 조정: 모델이 장면 관련 질문에 답변하고 정책 기반 결정을 출력하도록 훈련시킵니다.
3. 종단 간 다중 모달 정렬: 미세 조정된 언어 모델을 시각 인코더 및 메타데이터 프로젝터와 연결하여 원시 다중 모달 증거를 직접 소비할 수 있도록 합니다.

3. 주요 기여

본 논문은 네 가지 주요 기여를 제시합니다:

1. 작업의 재정의: 다중 모달 민원 처리를 구조화된 장면 추론 문제로 정의하고, 이해, 정책 기반, 그리고 행동 추천을 위한 명시적 사전 지식으로 장면 지식 그래프를 도입합니다.
2. 데이터 합성 프레임워크: 다중 모달 증거로부터 민원 장면 설명, 규칙 일관성 그래프 일반화, QA 감독, 그리고 결정 추천을 생성하는 파이프라인입니다.
3. 새로운 데이터셋 및 벤치마크: 대규모 데이터셋 (183,642 개의 기본 사례가 143 만 개의 SKG 로 확장됨) 과 두 가지 도메인 내 평가 세트를 구축했습니다:
   • ComplaintScene-Text: 정책 기반 추론에 초점을 맞춘 텍스트 전용 벤치마크.
   • ComplaintScene-MM: 현실적인 증거가 풍부한 환경에서의 전체 장면 추론을 평가하는 다중 모달 벤치마크.
4. 훈련 파이프라인: 구조화된 장면 사전 지식을 점진적으로 다중 모달 모델로 이전하여 해석 가능성, 견고성, 그리고 정책 일관성을 향상시키는 3 단계 전략입니다.

4. 실험 결과

실험은 Qwen2.5 백본 (0.5B, 1.5B, 3B) 을 사용하여 수행되었으며, 공식 범용 다중 모달 베이스라인 (예: Qwen2.5-VL-3B-Instruct) 과 비교되었습니다.

• 도메인 내 성능: SKG-VLA 는 모든 모델 규모에서 베이스라인을 일관되게 능가했습니다. ComplaintScene-MM 벤치마크에서 3B SKG-VLA 모델은 평균 점수 84.48을 기록하여 공식 Qwen2.5-VL-3B-Instruct(80.88) 와 SKG 사전 지식이 없는 다중 모달 베이스라인 (82.17) 을 상회했습니다. 성장은 가장 복잡한 결정 작업인 책임 귀속과 해결 예측에서 가장 두드러졌습니다.
• 정책 기반: 모델은 정책 일관성에서 우수한 성능을 보였습니다 (3B SKG-VLA 는 84.02%, 범용 베이스라인은 75.61%), 이는 도메인 규칙에 대한 더 나은 준수를 나타냅니다.
• 일반화: SKG-VLA 는 희귀 유형 민원 시나리오에서 더 강력한 성능을 보였습니다 (77.46% 대 베이스라인 69.84%), 이는 구조화된 사전 지식이 모델이 빈번한 템플릿을 넘어 외삽하는 데 도움이 됨을 시사합니다.
• 견고성: 증거 손상 (30% 데이터 누락) 하에서 SKG-VLA 는 베이스라인보다 더 우아하게 성능이 저하되어 더 높은 정확도를 유지했습니다. 이는 결정이 지역적 시각적 단서에만 의존하는 것이 아니라 그래프 수준의 의미론에 의해 안정화됨을 나타냅니다.
• 전이 학습: 범용 베이스라인은 광범위한 전이 작업 (SIMMC 2.0, DocVQA) 에서 약간의 우위를 유지했지만, SKG-VLA 는 경쟁력을 유지하면서도 민원 특정 작업에서 크게 우세했습니다.

Ablation 연구는 명시적인 SKG 그래프 구조가 가장 큰 성능 향상을 제공했으며, 그 다음으로 정책 노드와 규칙 일관성 그래프 일반화가 이어졌음을 확인했습니다.

5. 중요성 및 주장

본 논문은 SKG-VLA 가 표면적 매칭을 넘어 구조화된 장면 추론으로 이동함으로써 자동화된 의사결정 지원의 중요한 격차를 해소한다고 주장합니다.

• 정책 일관성: 주요 중요성은 범용 다중 모달 모델이 종종 놓치는 감사 가능하고 플랫폼 정책과 엄격히 일관된 결정을 생성할 수 있는 능력에 있습니다.
• 불완전한 증거 처리: 이 프레임워크는 스크린샷이 누락되거나 메타데이터가 불완전한 등 실제 운영 시스템에서 흔히 발생하는 "롱테일" 및 "불완전한 증거" 시나리오에서 특히 효과적입니다. SKG 는 특정 증거가 부재할 때도 모델이 추론할 수 있도록 하는 구조적 발판 역할을 제공합니다.
• 해석 가능성: 엔티티와 관계를 그래프로 조직함으로써, 시스템은 블랙박스 분류에 비해 더 해석 가능한 추론 경로를 제공하여 더 나은 인간 감독을 용이하게 합니다.

저자들은 범용 다중 모달 모델이 강력하지만, 규칙 제약과 증거 의존적인 민원 의사결정을 효과적으로 처리하려면 (SKG 와 같은) 도메인별 구조적 사전 지식이 필요하다고 결론지었습니다.