🤖 AI

SITUATE -- Synthetic Object Counting Dataset for VLM training

이 논문은 공간적으로 제약된 계수 작업에 대해 시각 언어 모델을 학습시키기 위해 설계된 새로운 합성 데이터셋인 SITUATE를 소개하며, 이 통제된 데이터로 미세 조정하는 것이 기존의 실제 세계 데이터셋에 비해 분포 외 벤치마크에서의 일반화 성능을 유의미하게 향상시킨다는 것을 입증한다.

원저자: René Peinl, Vincent Tischler, Patrick Schröder, Christian Groth

게시일 2026-02-03

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: René Peinl, Vincent Tischler, Patrick Schröder, Christian Groth

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 사진을 아주 잘 묘사하는 매우 똑똑한 로봇 비서가 있다고 상상해 보세요. 만약 당신이 노을진 사진을 보여주면, 그 로봇은 주황빛 하늘과 구름에 대해 말해줄 수 있습니다. 하지만 당신이 "저 하늘에 새가 몇 마리 있나요?"라고 물으면, 로봇은 종종 추측을 하기 시작하여 숫자를 틀리거나 사실을 지어내곤 합니다. 이것은 마치 글쓰기는 뛰어나지만 기초적인 수학에는 젬병인 학생과 같습니다.

이 논문은 이러한 로봇들이 특히 물체가 가려져 있거나, 색이 다르거나, 특정 위치에 놓여 있을 때도 더 잘 셀 수 있도록 돕는 SITUATE라는 새로운 훈련 도구를 소개합니다.

다음은 이들의 연구 내용을 쉬운 비유를 사용하여 정리한 것입니다.

문제점: 로봇은 숫자를 잘 세지 못한다

현재의 AI 모델은 얼굴은 즉시 알아차리지만 군중의 수를 세는 데는 어려움을 겪는 사람과 같습니다.

"패턴"의 함정: 일부 기존 학습 데이터는 속임수 퀴즈와 같습니다. 만약 어떤 사진이 항상 특정한 모양으로 배열된 9개의 아이템을 보여준다면, 로봇은 아이템을 실제로 세는 것이 아니라 "9"라는 모양을 인식하는 법을 배웁니다. 이는 수학을 배우는 대신 정답지를 통째로 외워버린 학생과 같습니다.
"현실 세계"의 무질서함: 다른 데이터셋들은 실제 사진을 사용하지만, 너무 무질서합니다. 물체가 다른 물체 뒤에 숨겨져 있거나(폐쇄), 질문이 모호합니다. 이는 마치 누군가가 과일 바구니 속의 사과를 세고 있는데, 다른 사람이 계속해서 사과를 이리저리 옮기는 상황과 같습니다.
결과: 로봇은 추측합니다. 예를 들어, 이상하게 생긴 암탉을 한 번 본 기억 때문에 암탉의 다리가 세 개라고 말하거나, 사진이 약간 흐릿하다는 이유로 초록색 베리를 세는 데 실패할 수 있습니다.

해결책: "SITUATE"라는 이름의 "훈련 체육관"

저자들은 SITUATE(합성 객체 계수 데이터셋)라는 새로운 데이터셋을 구축했습니다. 이것을 3D 컴퓨터 프로그램(Blender) 내부에 만들어진 로봇을 위한 가상 훈련 체육관이라고 생각하면 됩니다.

무질서한 실제 사진을 사용하는 대신, 그들은 완벽하고 깨끗한 3D 장면을 만들었습니다:

설정: 방 한가운데에 테이블이 있는 모습을 상상해 보세요.
객체들: 기하학적 도형(큐브, 구, 원뿔)을 테이블 위, 아래 또는 주변에 배치합니다.
규칙: 그들은 모든 것을 제어합니다. 왼쪽에는 빨간색 원뿔이 몇 개 있는지, 테이블 아래에는 파란색 구가 몇 개 있는지 정확히 알고 있으며, 물체가 너무 많이 가려지지 않도록 보장합니다.
질문: 그들은 로봇에게 "테이블 오른쪽 바닥에 초록색 원뿔이 몇 개 있나요?"와 같이 구체적인 질문을 던집니다.

이는 학생에게 수학 문제를 아주 명확하게 제공하여, 단순히 그림을 외우는 것이 아니라 실제로 '계수(counting)'의 개념을 배울 수 있게 하는 수학 문제집을 주는 것과 같습니다.

실험: 로봇 가르치기

연구진은 인기 있는 AI 모델인 Qwen 2.5 VL을 가져와 새로운 SITUATE 체육관을 사용하여 "속성 과외"를 실시했습니다. 그들은 다음과 같은 다양한 교수법을 시도했습니다:

"언어적(Verbose)" 스타일: 로봇이 자신의 생각을 단계별로 말하며 설명하도록 가르쳤습니다 (예: "여기에 원뿔이 두 개 있고, 저기에 세 개가 있습니다...").
"비언어적(Non-Verbose)" 스타일: 로봇이 최종 숫자만 바로 말하도록 가르쳤습니다.
"혼합(Mixed)" 스타일: 새로운 체육관과 기존 데이터셋(Pixmo)을 결합했습니다.

결과: 무엇이 효과적이었나?

"언어적" 스타일은 양날의 검이었습니다: 로봇이 큰 숫자(5개 이상)를 셀 때는 단계를 나누어 설명하는 것이 정답을 맞히는 데 도움이 되었습니다. 하지만 작은 숫자의 경우, 빈틈을 채우기 위해 "환각(hallucination)" 현상을 일으키며 내용을 지어내기 시작했습니다. 이는 마치 자신의 풀이 과정을 열심히 설명하려다가 실수로 존재하지 않는 숫자까지 만들어내는 학생과 같았습니다.
"혼합" 방식이 승리했습니다: 가장 좋은 결과는 새로운 SITUATE 체육관과 기존의 Pixmo 데이터셋을 결합했을 때 나타났습니다. 이를 통해 로봇은 이전보다 단순하고 복잡한 계수 작업을 모두 더 잘 수행할 수 있게 되었습니다.
일반화: 가장 중요한 발견은, 깨끗한 합성 체육관에서 훈련하는 것이 실제로 로봇이 무질서한 실제 사진(TallyQA 데이터셋 등)에서 더 잘 셀 수 있게 도와준다는 점입니다. 이는 마치 완벽한 농구 골이 있는 체육관에서 연습했더니, 갑자기 바람 부는 공원에서 슛을 더 잘 쏘게 된 것과 같습니다.

결론

이 논문은 로봇에게 정확하게 숫자를 세는 법을 가르치려면, "너무 단순한(2D 만화)" 것과 "너무 무질서한(실제 사진)" 것 사이의 중간 지점이 필요하다고 주장합니다. SITUATE 데이터셋은 그 중간 지점을 제공합니다.

이러한 제어된 3D 장면을 통해 훈련함으로써, 로봇은 단순히 패턴에 근거해 추측하는 것이 아니라 실제로 '세는 법'을 배웠습니다. 저자들은 향후 컵, 공, 양초와 같은 물체를 추가하여 이 체육관을 더욱 현실적으로 만듦으로써, 자신들의 완벽한 3D 세계와 실제 세계 사이의 간극을 더욱 좁힐 계획입니다.

요약하자면: 그들은 AI가 제대로 숫자를 셀 수 있도록 가르치기 위해 깨끗하고 통제된 3D 놀이터를 만들었으며, 이 놀이터에서의 연습이 실제로 AI가 현실 세계에서도 더 똑똑하게 숫자를 세도록 만들었습니다.

기술 요약: SITUATE - VLM 학습을 위한 합성 객체 카운팅 데이터셋

문제 정의

시각-언어 모델(VLM)은 이미지 캡셔닝과 시각적 질의응답에서 상당한 성공을 거두었으나, 정밀한 정량적 추론, 특히 객체 카운팅(counting)과 공간적 관계 이해 측면에서는 여전히 어려움을 겪고 있다. 현재의 모델들은 시각적 인식을 정확한 숫자로 변환하는 데 자주 실패하며, 특히 객체가 5개를 초과하거나 가려져 있을 때 그러하다. 기존 데이터셋들은 이분법적인 문제를 안고 있다. CountBench와 같은 단순한 2D 벤치마크는 모델이 진정한 카운팅(예: 숫자 9를 나타내는 특정 패턴을 인식하는 것)을 배우기보다 시각적 패턴을 학습하게 만든다. 반면, TallyQA나 Pixmo count와 같은 실제 세계 데이터셋은 모호함, 심한 가림 현상, 공간 구성의 제어 부족 문제를 겪는다. 또한, 이러한 데이터셋으로 학습된 모델들은 학습 분포에서 벗어난 객체 수나 특정 속성(예: 색상)을 질의할 때 일반화에 실패하는 편향을 보인다. 현재로서는 통제된 환경 내에서 카운팅과 공간 이해를 동시에 다루는 통합된 접근 방식이 존재하지 않는다.

방법론

데이터셋 구축 (SITUATE)

저자들은 인공적인 2D 그래픽과 통제되지 않은 실제 사진 사이의 간극을 메우기 위해 설계된 새로운 합성 데이터셋인 SITUATE를 소개한다.

생성 파이프라인: 데이터셋은 Python API를 활용한 절차적 생성을 통해 Blender 및 BlenderProc를 사용하여 생성되었다.
장면 구성: 장면은 다양한 배경과 바닥 질감을 가진 방 안의 테이블로 구성된다. 객체(큐브, 구, 원뿔, 실린더)는 테이블 위, 아래, 앞 또는 왼쪽/오른쪽에 배치된다.
통제된 복잡도: 명확한 시각적 이해를 보장하면서도 도전 과제를 유지하기 위해, 테이블의 수평 범위를 빈(bin) 단위로 나누어 객체의 중첩과 과도한 가림을 방지했다.
품질 관리: Lab 색공간에서의 $\Delta E$ 색차 메트릭을 사용하여 객체와 배경 사이의 충분한 대비를 보장하는 검증 과정을 거쳤다. $\Delta E < 12.5$ 인 이미지는 다시 렌더링되었다.
데이터 규모: 데이터셋은 23,252개의 이미지-질문-답변 삼중항(5개의 카메라 관점에서 렌더링된 6,875개의 고유 이미지로부터 파생됨)을 포함한다. 객체 수는 0에서 15까지이며, 특히 5~15 범위에 중점을 두었다.
질문 유형: 이미지당 6가지 질문 유형(색상, 모양, 위치, 객체, 복합 속성, 그리고 존재하지 않는 객체를 묻는 적대적 질문)이 생성된다.
정답(Ground Truth) 형식: 세 가지 정답 형식이 제공된다: 숫자형, 단답형, 그리고 상세 설명형(단계별 추론 포함).

실험 설정

데이터셋의 효용성을 평가하기 위해, 저자들은 UnSloth 프레임워크를 사용하여 Qwen 2.5 VL 7B 모델을 LoRA(Low-Rank Adaptation) 방식으로 미세 조정(fine-tuning)하였다.

학습 변체(Variants): 네 가지 변체를 생성하였다:
1. Verbose (상세 설명형): 상세 설명형 정답으로 SITUATE 학습.
2. Non-verbose (단답형): 단답형 정답으로 SITUATE 학습.
3. Pixmo: (정답 분포를 맞춘) Pixmo count 데이터셋의 일부로 학습.
4. Mixed (혼합형): SITUATE(상세 설명형)와 Pixmo의 조합.
학습 파라미터: 23,252개 항목에 대해 배치 크기 4, AdamW 8-bit 옵티마이저, 학습률 1e-4, 웜업 300 스텝을 사용하여 1 에포크(epoch) 동안 학습되었다.
평가: 모델들은 홀드아웃(held-out)된 SITUATE 데이터, Pixmo count, CountBench, 그리고 (5~15 카운팅에 집중하여 필터링된) TallQA 서브셋을 통해 테스트되었다.

주요 결과

SITUATE 성능

베이스라인: 학습되지 않은 Qwen 2.5 VL 7B는 SITUATE 테스트 세트에서 **36.3%**의 정확도를 기록했다.
미세 조정 효과:
- Verbose SITUATE: 정확도가 **50.3%**로 향상되었다.
- Mixed (SITUATE + Pixmo): 가장 높은 정확도인 **52.7%**를 달est했다.
- Non-verbose & Pixmo-only: 두 변체 모두 베이스라인(36.3%)보다 낮은 정확도(각각 29.5% 및 27.3%)를 보였으며, 이는 실제 세계 데이터만으로 학습하거나 상세 설명이 없는 합성 데이터로 학습하는 것이 SITUATE의 특정 공간적 제약에 잘 전이되지 않음을 시사한다.

일반화 및 교차 데이터셋 성능

Pixmo Count: Mixed 변체가 **60.0%**의 정확도를 달성하여, 베이스라인(51.8%)과 SITUATE 전용 변체들보다 유의미한 개선을 보였다. 이는 SITUATE 학습이 실제 세계 데이터로의 일반화에 도움이 됨을 나타낸다.
CountBench: 베이스라인은 81.9%로 우수한 성능을 보였다. Mixed 변체는 이 성능을 유지(81.9%)했으나, Pixmo 변체는 85.1%로 약간의 향상을 보였다.
TallyQA: 모든 모델이 데이터셋 자체의 모호함과 가림 현상으로 인해 어려움을 겪었다. Mixed 변체는 **27.5%**를 기록하여 베이스라인(25.5%)보다 약간 개선되었다.
타 모델과의 비교:
- Molmo 7B-D: Pixmo(87.1%)와 CountBench(92.7%)에서 매우 뛰어난 성능을 보였으나, SITUATE에서는 Qwen 3 VL 32B(79.2%)에 비해 뒤처졌다(Molmo는 47.4%).
- Qwen 3 VL 32B: 모든 벤치마크, 특히 SITUATE에서 최고의 일반화 능력을 보여주었으나, 본 연구에서 사용된 특정 데이터셋으로 미세 조정되지는 않았다.

질적 관찰

Verbose vs. Non-Verbose: 상세 설명형 학습은 5 이상의 숫자에서 성능을 향提升시켰으나, 작은 숫자(예: 목표 수치를 맞추기 위해 객체를 지어내는 경우)에서는 환각(hallucination) 현상을 유발했다.
"6"의 이상 현상: 베이스라인 모델은 숫자 5(39%)와 7(35%)에 비해 숫자 6(19%)에서 뚜렷한 정확도 하락을 보였다. Mixed 데이터셋은 이를 성공적으로 완화하여 6에 대한 정확도를 61%로 높였다.
적대적 질문(Adversarial Questions): 단답형 모델은 적대적 질문에 과적합되어 객체가 없다고 주장하는 경우가 많았던 반면, 베이스라인은 이를 올바르게 처리했다.

의의 및 주장

본 논문은 SITUATE가 실제 세계 사진의 모호함 없이 공간적 추론과 정밀한 카운팅을 강제하는 통제된 환경을 제공함으로써 VLM 학습의 핵심적인 공백을 메운다고 주장한다.

일반화: 주요 발견은 SITUATE(특히 Mixed 변체)로 미세 조정하는 것이 실제 세계의 분포 외(out-of-distribution) 데이터(Pixmo count)에 대한 모델의 일반화 능력을 향상시킨다는 것이며, 반대로 Pixmo만으로 학습하는 것은 SITUATE 성능을 높이지 못한다.
학습 메커니즘: 본 연구는 VLM이 실제 세계 데이터의 통계적 편향에 의존하기보다, 객체의 배치와 속성을 명시적으로 분리하여 학습할 때 더 효과적으로 카운팅을 배울 수 있음을 시사한다.
미래 활용 가치: 저자들은 SITUATE가 단순한 패턴 인지와 실제 정량적 추론을 구분하여 VLM의 "진정한" 카운팅 능력을 평가하는 가치 있는 벤치마크 역할을 할 것이라고 상정한다.

한계점

저자들은 다음과 같은 몇 가지 한계점을 인정한다:

합성 데이터의 특성: 데이터셋은 4종의 기하학적 객체 클래스와 단일 장면 레이아웃(방 안의 테이블)으로 제한되어 있다(단, 카메라 각도와 질감은 다양함).
모델 범위: 실험은 단일 모델(Qwen 2.5 VL 7B)을 1 에포크 동안 미세 조정하는 것에 국한되었으며, 다른 아키텍처나 더 긴 학습 일정에 대한 결과는 명시적으로 테스트되지 않았다.
인간 기준선(Human Baseline): 인간 기준선은 설정되지 않았으나, 저자들은 이미지의 통제된 특성을 고려할 때 인간의 정확도가 90~95%에 달할 것으로 추정한다.
객체의 범위: 현재 객체들은 추상적이며, 향후 작업에서는 사실적인 질감과 더 복-잡한 객체 관계(예: 컵, 공)를 도입하는 것을 목표로 한다.