AutoViVQA: A Large-Scale Automatically Constructed Dataset for Vietnamese Visual Question Answering

이 논문은 PhoBERT 와 비전 트랜스포머를 활용한 대규모 자동 구축 베트남어 시각 질문 답변 (VQA) 데이터셋 'AutoViVQA'를 제안하고, 다양한 자동 평가 지표와 다국어 설정 하에서 트랜스포머 기반 아키텍처의 성능을 체계적으로 비교 분석합니다.

핵심

🎨 1. 문제 상황: "베트남어 AI 는 왜 그림을 못 보나요?"

지금까지 AI 가 그림을 보고 질문에 답하는 기술 (VQA) 은 영어권에서는 엄청나게 발전했습니다. 하지만 베트남어는 그렇지 못했습니다.

• 비유: 영어권 AI 는 수만 권의 고전 명작과 최신 소설을 읽으며 훈련된 '명석한 학생'이라면, 베트남어 AI 는 아직 책 한 권도 제대로 읽지 못한 상태였습니다.
• 기존의 문제: 기존에 있던 베트남어 학습 자료들은 너무 적거나, 질문이 단순하거나 (예: "이게 뭐야?"), 혹은 AI 가 만들어낸 엉터리 정보 (환각 현상) 가 섞여 있어 신뢰할 수 없었습니다. 마치 낡고 구멍 난 지도를 들고 길을 찾는 것과 같았습니다.

🏗️ 2. 해결책: "AutoViVQA" - AI 가 만든 완벽한 학습 교재

연구팀은 이 문제를 해결하기 위해 LLM(거대 언어 모델) 을 활용하여 자동으로 고품질 데이터를 만드는 시스템을 개발했습니다. 이를 AutoViVQA라고 부릅니다.

• 비유: 사람이 일일이 그림을 보고 질문을 만들어 내는 건 너무 비싸고 느립니다. 대신, 현명한 '수석 교사 AI'를 고용했습니다. 이 교사는 다음과 같은 일을 합니다:
  1. 다양한 그림 수집: 전 세계의 다양한 사진 (MS COCO) 을 가져옵니다.
  2. 질문 생성: 그림을 보고 "이게 어디에 있니?", "왜 우산을 썼을까?", "이 글자는 뭐라고 써 있니?" 같은 질문을 베트남어로 만듭니다.
  3. 질문 난이도 조절: 단순히 사물을 찾는 것 (1 단계) 에서부터, 원인과 결과를 추론하거나 (4 단계), 그림 속의 글자를 읽는 것 (5 단계) 까지 난이도를 체계적으로 조절합니다.

🛡️ 3. 품질 관리: "AI 심판단"이 걸러낸 금과옥조

AI 가 만든 데이터라고 해서 다 좋은 건 아닙니다. 엉터리 답변이 섞일 수 있죠. 그래서 연구팀은 **엄격한 '품질 검사 시스템'**을 도입했습니다.

• 비유: 이 시스템은 한 명만 보는 게 아니라, 20 명 이상의 'AI 심사위원'이 한 번에 평가하는 방식입니다.
  • 한 AI 가 "이건 좋은 질문이야"라고 해도, 다른 AI 들이 "아니야, 그림과 안 맞아"라고 하면 **대다수의 의견 (다수결)**에 따라 그 데이터는 폐기됩니다.
  • 마치 고급 레스토랑에서 10 명의 미식가가 한 접시를 평가하고, 8 명 이상이 "맛있다"고 해야 메뉴판에 오르는 것과 같습니다.
  • 이 과정을 통해 질문과 답변이 그림과 얼마나 잘 맞는지, 베트남어 문법이 자연스러운지를 철저히 검사합니다.

📊 4. 결과: "학습 효과가 폭발적으로 좋아졌다"

이렇게 만든 AutoViVQA 데이터로 다양한 AI 모델을 훈련시켜 보니 놀라운 결과가 나왔습니다.

• 비유: 같은 학생 (AI 모델) 이더라도, 낡은 교재로 공부했을 때보다 이 새로운 고품질 교재로 공부했을 때 성적이 3 배에서 8 배까지 뛰었습니다.
• 특히, 그림의 내용을 정확히 이해하고 (Grounding), 논리적으로 추론하는 능력이 크게 향상되었습니다. 이는 모델 자체를 고친 게 아니라, 공부할 자료 (데이터) 의 질이 좋아졌기 때문임을 증명합니다.

🌏 5. 의미와 한계: "베트남어 AI 의 새로운 시작"

이 연구는 베트남어 AI 개발에 새로운 기준을 제시했습니다.

• 성공: 저자원이 부족한 언어 (베트남어) 에서도 AI 가 그림과 언어를 잘 이해하도록 만드는 재현 가능한 방법론을 보여줬습니다.
• 한계: 아직 베트남의 특정 지역 문화나 사투리를 완벽하게 반영하지는 못했고, 사용된 사진들이 전 세계적인 사진이라 베트남 특유의 문화적 정서가 완벽하지는 않습니다. 마치 전 세계 요리 책은 많지만, 오직 베트남 가정식 레시피만 완벽하게 담진 않은 상태입니다.

💡 한 줄 요약

"AutoViVQA 는 AI 가 스스로 베트남어 그림 질문지를 만들고, 수십 명의 AI 심사위원이 엉터리 문제를 걸러내어 만든 '최고급 학습 교재'입니다. 이 교재로 공부한 AI 들은 그림을 훨씬 더 똑똑하게 이해하게 되었습니다."

이 연구는 앞으로 베트남뿐만 아니라, 전 세계의 다른 소수 언어 AI 들이 어떻게 발전할 수 있는지에 대한 청사진을 제시한다고 볼 수 있습니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 저자원 언어의 VQA 데이터 부족: 베트남어는 약 1 억 명의 화자를 보유하고 있지만, 시각적 질문 답변 (VQA) 을 위한 대규모 고품질 멀티모달 벤치마크가 부재합니다.
• 기존 데이터셋의 한계:
  • 규모 및 다양성 부족: 기존 베트남어 데이터셋 (ViVQA, OpenViVQA 등) 은 규모가 작아 현대적인 멀티모달 모델 학습에 부적합하며, 질문의 다양성이 제한적입니다.
  • 추론 능력의 결여: 객체 인식 위주이거나 텍스트 기반 질문이 많으며, 다단계 추론, 공간 관계, 인과 관계, 문화적 맥락 이해와 같은 복잡한 추론이 부족합니다.
  • 데이터 품질 문제: 수동 주석은 비용이 많이 들고 확장성이 떨어지며, 단순한 AI 생성 방식은 할루시네이션 (환각), 약한 시각적 근거 (Visual Grounding), 문화적 편향을 초래합니다.
• 핵심 과제: 인간 주석에 대한 의존을 최소화하면서, 확장 가능하고 추론 능력을 고려하며 품질이 통제된 베트남어 VQA 데이터를 구축하는 방법론적 도전.

2. 제안 방법론 (Methodology)

저자들은 AutoViVQA라는 대규모 베트남어 VQA 데이터셋을 제안하며, 이는 LLM(대형 언어 모델) 기반의 생성 및 품질 보증 프레임워크를 통해 구축되었습니다.

가. 데이터 파이프라인 (Data Pipeline)

• 소스 통합: MS COCO 의 실세계 이미지와 VISTA 코퍼스 (베트남어 캡션 및 대화 데이터) 를 결합하여 시각적 다양성과 언어적 충실도를 확보했습니다.
• LLM 기반 생성: Gemini 2.5 Flash 와 같은 LLM 을 사용하여 이미지 캡션과 대화 맥락을 기반으로 질문 - 답변 쌍을 생성했습니다.

나. 추론 수준 제어 프레임워크 (Reasoning-Level Control)

생성된 질문의 인지적 깊이를 명시적으로 규제하기 위해 5 단계 추론 스키마를 도입했습니다:

1. Level 1 (인식): 객체 또는 기본 속성 식별.
2. Level 2 (공간 및 관계): 공간적 관계 또는 단순 비교 추론.
3. Level 3 (구성적): 여러 객체나 행동을 포함한 다단계 추론.
4. Level 4 (상식 및 인과): 의도, 심리 상태, 인과 관계 추론.
5. Level 5 (이미지 내 텍스트): 이미지 내 텍스트 읽기 및 해석.

• 균형 잡힌 분포: 1 단계부터 5 단계까지 정규 분포를 따르도록 (0.05, 0.24, 0.40, 0.24, 0.05 비율) 생성 과정을 제어하여 단순 인식 질문으로의 붕괴를 방지했습니다.

다. 품질 보증 및 검증 프로토콜 (Quality Assurance & Validation)

• 앙상블 기반 검증: 2n+1 개의 독립적인 비전 - 언어 모델 및 언어 모델 앙상블을 사용하여 각 샘플을 평가했습니다.
• 18 가지 품질 차원: 시각적 품질, 문맥 복잡성, 언어적 유효성, 멀티모달 시각적 근거 (Visual Grounding) 등 4 가지 범주에 걸쳐 18 가지 기준을 자동 평가했습니다.
• 다수결 투표 및 필터링: 각 차원에서 중앙값을 임계값으로 사용하여 이진화하고, 18 가지 기준 중 9 개 이상을 만족하는 경우에만 샘플을 유지하도록 다수결 투표 방식을 적용했습니다.
• 편향 및 노이즈 제거: 문화적 편향, 주관적 질문, 약한 시각적 근거를 가진 샘플을 자동으로 필터링했습니다.

3. 주요 기여 (Key Contributions)

1. AutoViVQA 데이터셋: LLM 파이프라인을 통해 완전히 자동 구축된 대규모 베트남어 VQA 데이터셋 (19,411 개 이미지, 37,077 개 질문, 185,385 개 답변). 기존 베트남어 데이터셋보다 규모와 다양성이 월등히 큽니다.
2. 품질 보증 생성 프레임워크: 5 단계 추론 스키마를 통해 질문 유형과 인지적 복잡성을 명시적으로 규제하는 새로운 방법론 제시.
3. 자동화된 검증 프로토콜: 인간 주석 없이 앙상블 기반 다중 모델 평가, 기준별 임계값, 다수결 투표를 통해 노이즈가 많거나 근거가 약한 샘플을 필터링하는 재현 가능한 방법론 제안.
4. 확장성: 프롬프트나 추론 템플릿을 조정하여 특정 도메인에 맞춘 데이터셋 구축이 가능하며, 저자원 언어를 위한 고품질 멀티모달 벤치마크 구축의 표준을 제시합니다.

4. 실험 결과 (Results)

• 실험 설정: AutoViVQA 의 정제된 데이터셋을 사용하여 다양한 모델 (베트남어 특화 비전 - 언어 모델인 Vintern, ViT5_ViT, BARTPhoBEiT 및 일반 LLM 인 GPT-5, LLaMA 3.2, Gemini 등) 을 학습 및 평가했습니다.
• 성능 향상:
  • 제안된 필터링 파이프라인을 통해 학습된 데이터는 모델의 정밀도 (Precision), 재현율 (Recall), F1 점수, ROUGE-L, METEOR, CIDEr 등 의미적 충실도 관련 지표에서 일관된 개선을 보였습니다.
  • 특히 **Vintern (base)**를 정제된 데이터로 파인튜닝한 경우, F1 점수가 약 3 배, CIDEr 점수가 약 8 배 증가하여 데이터 품질 개선이 모델 아키텍처 변경 없이도 성능 향상에 결정적임을 입증했습니다.
• 모델별 특성: 베트남어 특화 모델은 정밀도와 의미적 일관성에서 큰 향상을 보인 반면, 일반 LLM 은 재현율은 높으나 정밀도는 상대적으로 낮아 할루시네이션 감소와 시각적 근거 강화의 중요성을 시사했습니다.
• 인간 검증: 1,000 개 샘플에 대한 인간 평가 (3 인) 에서 언어적 유창성, 시각적 근거, 추론 수준 적합성에 대해 **Krippendorff's alpha (0.72)**의 높은 일치도를 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 저자원 언어 VQA 의 새로운 기준: AutoViVQA 는 규모, 질문 다양성, 추론 범위, 시각적 근거 측면에서 기존 베트남어 VQA 리소스를 크게 능가하는 새로운 벤치마크를 제공합니다.
• 방법론적 혁신: 대규모 인간 주석 없이도 고품질, 추론 중심의 멀티모달 데이터셋을 구축할 수 있는 재현 가능한 프레임워크를 제시하여, 저자원 언어 환경에서의 AI 연구에 중요한 기여를 합니다.
• 한계 및 향후 과제: 현재 MS COCO 기반 이미지로 인해 베트남 특유의 문화적 시각적 다양성이 제한적일 수 있으며, LLM 에서 유래한 잔여 편향이 존재할 수 있습니다. 향후 문화적으로 다양한 시각 소스 통합, 편향 감지 메커니즘 강화, 방언 민감성 생성 전략 등을 통해 개선이 필요합니다.

이 연구는 단순히 데이터셋을 제공하는 것을 넘어, 제어된 추론 조건 하에서 멀티모달 모델을 평가하고 구축하는 체계적인 방법론을 제시함으로써, 문화적 맥락이 반영된 포용적인 멀티모달 AI 연구의 기반을 마련했습니다.