UNICBench: UNIfied Counting Benchmark for MLLM

이 논문은 이미지, 텍스트, 오디오를 아우르는 5,300 개 이상의 멀티모달 데이터로 구성된 UNICBench 를 제안하여 MLLM 의 계수 능력을 엄격하게 평가하고, 현재 모델들이 기본 과제는 잘 수행하지만 추론 및 난이도 높은 작업에서는 큰 격차가 있음을 밝혔습니다.

핵심

이 논문은 **"UNICBench"**라는 새로운 시험지를 소개합니다. 이 시험지는 인공지능 (AI) 이 얼마나 똑똑한지, 특히 **"세상을 세는 능력 (Counting)"**이 얼마나 뛰어난지 측정하기 위해 만들어졌습니다.

기존의 AI 시험들은 주로 그림을 보고 설명하거나, 글을 읽고 답을 찾는 것에 집중했는데, 이 논문은 **"세상 모든 것 (그림, 글, 소리) 을 정확히 세는 것"**에 초점을 맞췄습니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 왜 이 시험이 필요할까요? (문제 상황)

상상해 보세요. 여러분이 아이스크림 가게를 운영한다고 가정해 봅시다.

• 과거의 AI: "이게 아이스크림이에요"라고 말은 잘하지만, "여기 아이스크림이 몇 개야?"라고 물으면 "음... 대략 많아요?"라고 막연히 대답하거나, "저는 세는 게 싫어요"라고 거절하기도 했습니다.
• 현실: 실제로는 가게에 수백 개의 아이스크림이 쌓여있거나, 문서에 수천 개의 단어가 숨어있거나, 회의 녹음에 수십 번의 질문이 섞여 있을 수 있습니다. AI 가 이걸 정확히 세지 못하면 재고 관리나 분석이 불가능해집니다.

지금까지 AI 를 평가할 때 "세는 능력"을 따로 엄격하게 시험한 곳이 없었습니다. 그래서 이 연구팀은 **"UNICBench"**라는 새로운 시험지를 만들어 AI 들의 실력을 가려내기로 했습니다.

2. 시험지는 어떻게 생겼나요? (3 가지 모달리티)

이 시험지는 크게 세 가지 영역으로 나뉩니다. 마치 AI 가 "눈 (시각)", "입 (텍스트)", "귀 (청각)"을 모두 사용해야 통과할 수 있는 종합 운동회 같은 거죠.

1. 눈 (이미지): 사진 속의 사람, 자동차, 사과, 구름 등을 세는 문제입니다.
   • 예: "이 사진에 빨간 셔츠를 입은 사람이 몇 명인가요?"
2. 입 (텍스트): 긴 문서나 코드 속에서 특정 단어가 몇 번 나오는지, 문장이 몇 개인지 세는 문제입니다.
   • 예: "이 법률 문서에서 '계약'이라는 단어가 몇 번 등장하나요?"
3. 귀 (오디오): 녹음된 소리를 듣고 박수 소리가 몇 번, 혹은 회의에서 질문이 몇 번 나왔는지 세는 문제입니다.
   • 예: "이 회의 녹음에서 '질문'이 몇 번 나왔나요?"

3. 문제의 난이도는? (3 단계 계단)

시험 문제는 단순히 "1, 2, 3"을 세는 것보다 훨씬 복잡합니다. 연구팀은 문제를 3 단계 난이도로 나누어 AI 의 두뇌 회로를 테스트했습니다.

• 1 단계 (패턴): "눈에 보이는 대로 세기"
  • 비유: "저기 사과가 몇 개 있니?"라고 물으면 그냥 눈에 보이는 개수를 세면 됩니다. 가장 쉽습니다.
• 2 단계 (의미): "조건을 걸고 세기"
  • 비유: "빨간 사과만 세어줘"라고 하면, 모든 사과를 다 세는 게 아니라 빨간색만 골라내야 합니다. 여기서 AI 는 혼란을 겪기 시작합니다.
• 3 단계 (추론): "논리를 써서 세기"
  • 비유: "2022 년에 수정된 폴더만 세어줘"라고 하면, 단순히 폴더를 보는 게 아니라 날짜를 확인하고, 조건을 따지고, 복잡한 규칙을 적용해야 합니다. 이것이 가장 어렵습니다.

4. 시험 결과는 어땠나요? (AI 들의 실력)

연구팀은 최신 AI 45 개를 이 시험에 출석시켰습니다. 결과는 다음과 같았습니다.

• 쉬운 문제는 잘했어요: "사과가 몇 개야?" 같은 단순한 문제는 대부분의 AI 가 잘 맞췄습니다.
• 어려운 문제는 엉망이었어요: "빨간 셔츠 입은 사람 중 키가 큰 사람만 세어줘" 같은 복잡한 문제나, 수백 개의 물체가 겹쳐 있는 사진에서는 AI 들이 엉뚱한 숫자를 말하거나 아예 "세 줄 수 없다"고 거절하기도 했습니다.
• 특이점: 어떤 AI 는 "생각하는 과정 (Chain of Thought)"을 거치면서 더 잘 세기도 했지만, 또 어떤 AI 는 생각하다 지쳐서 틀린 답을 내놓기도 했습니다.

5. 이 연구의 핵심 메시지

이 논문은 **"AI 가 이제 말을 잘하고 그림도 잘 그리는 단계는 지났다. 이제는 '정확한 숫자'를 세는 기초 체력도 다져야 진짜 똑똑한 AI 가 될 수 있다"**고 말합니다.

• 현재 상태: AI 는 아직 "대충 맞출 수는 있지만, 정확하게 세는 건 힘들다"는 수준입니다.
• 미래: 이 시험지 (UNICBench) 를 통해 AI 들이 어디가 약한지 정확히 파악하고, 더 똑똑하게 훈련시킬 수 있는 기준을 마련했습니다.

요약하자면?

이 논문은 **"AI 가 세상의 모든 것 (그림, 글, 소리) 을 정확히 세는 능력을 측정하는 새로운 표준 시험지"**를 발표하고, **"현재 AI 들은 단순한 세기는 잘하지만, 복잡한 조건이 붙으면 많이 헷갈린다"**는 사실을 밝혀낸 연구입니다.

마치 아이에게 "사과 10 개를 세어봐"라고 했을 때 잘 세지만, "빨간 사과 5 개와 초록 사과 3 개를 섞어서 세어봐"라고 하면 혼란스러워하는 아이의 모습을 AI 에서 본 것과 비슷합니다. 이제 AI 가 그 다음 단계로 성장할 수 있도록 돕는 나침반이 된 셈입니다.

기술 요약

UNICBench: MLLM 을 위한 통합 카운팅 벤치마크

1. 문제 정의 (Problem)

멀티모달 대규모 언어 모델 (MLLM) 은 인간과 유사한 지능을 향해 발전하고 있으며, '카운팅 (Counting)'은 수 감각 (Number Sense) 의 핵심 요소이자 중요한 인지 능력입니다. 하지만 기존 연구와 벤치마크는 다음과 같은 한계를 가지고 있었습니다:

• 모달리티의 단편성: 기존 벤치마크는 주로 이미지 (시각) 에 집중되어 있으며, 텍스트나 오디오에 대한 통합적인 카운팅 평가가 부재합니다.
• 표준화 부재: 기존 데이터셋은 점 (point), 바운딩 박스, 밀도 맵 등 다양한 주석 형식을 혼용하며, MLLM 의 질문 - 답변 (QA) 형식에 적합하지 않습니다.
• 평가 프로토콜의 불일치: 데이터 분할, 프롬프트, 디코딩 설정, 매칭 규칙 등이 연구마다 달라 결과의 비교와 재현성이 어렵습니다.
• 인지적 깊이 부족: 단순한 객체 인식을 넘어, 속성 필터링, 중복 제거, 논리적 추론이 필요한 복잡한 카운팅 작업에 대한 체계적인 평가가 부족합니다.

2. 방법론 (Methodology)

저자들은 이미지, 텍스트, 오디오를 아우르는 UNICBench를 제안했습니다. 이는 엄격하게 큐레이션된 코퍼스, 표준화된 평가 프로토콜, 그리고 계층적인 태스크 분류 체계를 포함합니다.

• 데이터셋 구성 (Corpus):

  • 이미지: 5,300 개 이미지 (5,508 개 QA). FSC147, NWPU-MOC, Crowd counting 등 기존 데이터와 수동 주석을 결합하여 49 개 카테고리 (사람, 차량, 세포, 과일 등) 를 포함합니다.
  • 텍스트: 872 개 문서 (5,888 개 QA). 코드, 법률 문서, 학술 논문 (LaTeX), 문학 작품, 뉴스 등 다양한 소스에서 수집되었으며, 구조적 요소 (함수, 인용구, 문단 등) 카운팅을 포함합니다.
  • 오디오: 2,069 개 클립 (2,905 개 QA). 환경음 (DESED) 과 대화형 음성 (AliMeeting) 을 포함하며, 사건 감지 및 화자 분석을 다룹니다.
  • 총계: 8,241 개 샘플, 14,301 개 QA. 모든 데이터는 '증거 우선 (Evidence-first)' 원칙에 따라 Ground Truth(GT) 와 구조화된 증거 (좌표, 텍스트 범위, 타임스탬프) 를 제공합니다.

• 태스크 분류 체계 (Taxonomy):
  모든 카운팅 작업을 3 단계의 능력 수준과 3 단계의 난이도로 분류합니다.

  1. 패턴 수준 (Pattern, L1): 직접적인 관찰 (Perceptual counting). 예: "이미지에 사과가 몇 개 있나요?"
  2. 시맨틱 수준 (Semantic, L2): 속성 필터링 및 중복 제거. 예: "빨간 셔츠를 입은 사람은 몇 명인가요?" 또는 "중복되지 않은 인용구는 몇 개인가요?"
  3. 추론 수준 (Reasoning, L3): 규칙 기반 및 구성적 카운팅. 예: "2022 년에 수정된 폴더는 몇 개인가요?" 또는 "이 오디오에서 질문이 몇 번 나왔나요?"
  • 난이도: Easy(1-10 개), Medium(11-100 개), Hard(>100 개) 로 세분화하여 밀도, 가림, 중첩 정도 등을 고려합니다.

• 평가 프로토콜:

  • 일관된 설정: 모든 모델에 대해 고정된 프롬프트, 분할, 시드, 디코딩 설정을 적용합니다.
  • 지표: 성공률 (Success Rate, 숫자 추출 가능 여부), Hit Rate(오차 허용 범위 내 정확도), MAE(평균 절대 오차), MSE(평균 제곱 오차) 를 사용합니다.
  • 모델 평가: 45 개의 최신 MLLM(이미지 21 개, 텍스트 22 개, 오디오 13 개) 을 평가했습니다.

3. 주요 기여 (Key Contributions)

1. 최초의 통합 벤치마크: 이미지, 텍스트, 오디오를 아우르는 최초의 통합 멀티모달 카운팅 벤치마크를 제안했습니다.
2. 계층적 분류 체계: 카운팅 능력을 '패턴 - 시맨틱 - 추론'의 3 단계로 체계화하고, 난이도를 정량화하여 MLLM 의 인지적 한계를 정밀하게 측정할 수 있는 기준을 마련했습니다.
3. 엄격한 데이터 큐레이션: 14,300 개 이상의 QA 쌍을 포함하며, 모든 GT 에 구조화된 증거를 포함시켜 평가의 투명성과 재현성을 확보했습니다.
4. 포괄적인 평가 결과: 45 개 모델에 대한 체계적인 분석을 통해 현재 MLLM 의 강점과 약점을 규명하고, 오픈 소스 평가 툴킷을 공개했습니다.

4. 실험 결과 (Results)

• 전반적 성능: 모델들은 간단한 (Easy, Pattern) 작업에서는 높은 성공률을 보였으나, 난이도가 높거나 추론이 필요한 (Reasoning, Hard) 작업에서는 성능이 급격히 저하되었습니다.
• 모달리티별 특징:
  • 이미지: 밀집된 장면 (Crowd) 과 가림 (Occlusion) 이 있는 경우 오차가 큽니다. 폐쇄형 모델 (GPT-5, Gemini 등) 이 오픈 소스 모델보다 Hard 난이도에서 더 견고한 성능을 보였습니다.
  • 텍스트: 구조적 이해 (XML, JSON, LaTeX) 와 긴 문맥 의존성이 핵심입니다. '생각 (Thinking)' 모드를 가진 모델이 긴 문맥과 복잡한 논리에서 더 좋은 성능을 보였으나, 여전히 정밀한 카운팅은 어렵습니다.
  • 오디오: 시간적 중첩과 이벤트 분리가 주요 난제입니다. 많은 모델이 숫자 추출 자체를 실패하거나 (거부 응답), 사소한 오차로 인해 전체 정확도가 낮았습니다.
• 오차 분석: 모델들은 종종 과대평가 (Over-counting) 또는 과소평가 (Under-counting) 경향을 보이며, 특히 밀집된 객체나 복잡한 논리 구조에서 극단적인 오차 (Long-tail errors) 가 발생했습니다.

5. 의의 및 결론 (Significance)

• MLLM 능력의 새로운 척도: UNICBench 는 MLLM 이 단순한 인식 (Perception) 을 넘어 논리적 추론 (Reasoning) 과 정밀한 수치 처리를 얼마나 잘 수행하는지 평가하는 엄격한 기준을 제공합니다.
• 향후 연구 방향 제시: 현재 MLLM 은 기본 카운팅은 잘하지만, 복잡한 추론과 모달리티 간 통합에는 한계가 있음을 보여줍니다. 이를 해결하기 위해 검출기 (Detector) 와 VLLM 의 하이브리드 파이프라인, 증거 기반 출력 (Evidence-first output), 그리고 난이도별 세분화된 보고가 필요함을 강조합니다.
• 오픈 툴킷: 연구 커뮤니티가 카운팅 능력을 지속적으로 개선하고 비교할 수 있는 공개된 평가 도구와 데이터셋을 제공함으로써, 멀티모달 AI 의 발전 속도를 가속화할 것으로 기대됩니다.

요약하자면, UNICBench 는 MLLM 의 '수학적/계산적' 능력을 다각도로 검증하기 위해 설계된 포괄적인 벤치마크로, 현재 모델들이 직면한 추론 및 정밀성 문제를 명확히 드러내고 향후 발전 방향을 제시합니다.