TACIT Benchmark: A Programmatic Visual Reasoning Benchmark for Generative and Discriminative Models

이 논문은 자연어 프롬프트나 주관적 평가에 의존하지 않고, 생성 및 판별 트랙을 통해 6 가지 추론 도메인에서 6,000 개의 결정론적 퍼즐로 시각적 추론 능력을 엄격하게 평가하는 'TACIT 벤치마크'를 제안합니다.

핵심

이 논문은 **"TACIT(타시트)"**이라는 새로운 시험지를 소개합니다. 이 시험지는 인공지능 (AI) 이 정말로 '눈으로 보고 생각할 수 있는지'를 테스트하기 위해 만들어졌습니다.

기존의 AI 시험들은 대부분 "이 그림을 보고 설명해 줘"처럼 **말 (언어)**을 많이 사용했습니다. 하지만 TACIT 는 **"말은 필요 없어, 그림만 보고 답을 내봐"**라는 철학을 가지고 있습니다.

이 논문의 핵심 내용을 일상적인 비유로 설명해 드릴게요.

---

1. 왜 새로운 시험이 필요할까요? (기존의 문제점)

지금까지의 AI 시험은 마치 **"영어 시험을 보다가 그림 문제를 풀게 하는 것"**과 비슷했습니다.

• 문제: AI 가 그림을 잘 해석한 건지, 아니면 문제 지문을 잘 읽어서 언어 능력으로 답을 맞힌 건지 구분이 안 됩니다.
• 심판의 문제: 정답을 채점할 때 사람이 보거나, 또 다른 AI 가 "아마 맞을 거야"라고 추측하게 하면, 결과가 매번 달라질 수 있습니다 (주관성).

TACIT 의 해결책:

• 말은 금지: 문제 지문은 그림과 기호로만 되어 있습니다. (예: "빨간색 동그라미에서 시작해서 초록색 동그라미로 가라"는 말 대신, 그림에 화살표와 색으로 표시)
• 컴퓨터가 채점: 정답은 '맞다/틀리다'가 명확한 구조 (예: 미로 길, 도형 패턴) 이기 때문에, 사람이 보지 않고 컴퓨터 프로그램이 100% 정확하게 채점합니다.

2. TACIT 시험의 두 가지 방식 (듀얼 트랙)

이 시험지는 똑같은 문제를 가지고 두 가지 방식으로 AI 를 테스트합니다.

1. 생성 트랙 (직접 그리기):
   • 비유: "이 미로의 출구를 찾아서 길을 그려봐."
   • AI 가 직접 정답 그림을 만들어 내야 합니다.
2. 판별 트랙 (고르기):
   • 비유: "이 미로에 5 개의 길이 있는데, 그중 진짜 정답은 어느 것일까?" (정답 1 개, 오답 4 개)
   • AI 가 보기 중 하나를 고르면 됩니다.

왜 두 가지나 할까요?
만약 AI 가 '고르기'는 잘하지만 '직접 그리기'는 못 한다면? 그 AI 는 정답을 알고 있는 척할 뿐, 실제로 문제를 해결할 능력은 없는 것입니다. 이 차이를 통해 AI 의 진짜 두뇌를 파악할 수 있습니다.

3. 시험 문제들은 어떤 것들이 있나요? (6 가지 영역, 10 가지 문제)

이 시험지는 6 가지 종류의 '두뇌 운동'을 포함하고 있습니다.

1. 공간 감각 (미로): 여러 층으로 된 미로를 한 층에서 다른 층으로 넘어가며 길을 찾는 문제.
2. 추상 패턴 (레이븐 지능검사): 도형의 규칙을 찾아 빈칸을 채우는 문제.
3. 원인 - 결과 (세포 자동자): "지금 이 상태라면, 다음 단계는 어떻게 변할까?" 혹은 "이렇게 변하려면 어떤 규칙이 있었을까?"를 추론하는 문제.
4. 논리 (논리 퍼즐): "A 는 B 옆에 있고, C 는 D 와는 멀리 떨어져 있어야 한다"는 조건을 그림으로 풀어내는 문제.
5. 그래프 이론 (색칠하기): 인접한 도형끼리는 색이 달라야 하는 규칙으로 지도를 색칠하는 문제.
6. 기하학 (입체 도형): 3 차원 물체를 2 차원 그림으로 보거나, 2 차원 그림을 보고 3 차원 물체를 재구성하는 문제.

4. 오답 (거짓말쟁이) 의 역할

이 시험의 가장 멋진 점은 **오답 (Distractor)**을 만드는 방식입니다.

• 기존 시험: 오답은 너무 뻔하게 틀려서 AI 가 쉽게 걸러냈습니다.
• TACIT 의 오답: 정답과 거의 똑같지만, 딱 하나만 규칙을 위반한 오답을 만듭니다.
  • 예: 미로에서 벽을 뚫고 지나가는 길, 혹은 도형의 색만 살짝 다른 경우.
  • AI 가 이런 오답을 구별하려면, 단순히 "이게 비슷해 보이네"라고 대충 보는 게 아니라, 세부적인 규칙을 꼼꼼히 따져봐야 합니다.

5. 이 시험지가 주는 의미

• 공정한 평가: 모든 시험지는 컴퓨터가 자동으로 만들어지고 채점하므로, 누가 보든 똑같은 결과가 나옵니다.
• 진짜 두뇌 테스트: AI 가 언어 능력에 의존하지 않고, 순수하게 시각적 논리 능력을 발휘하는지 확인할 수 있습니다.
• 열린 장난감: 이 시험지와 만드는 방법은 모두 무료로 공개되어 있어, 전 세계 연구자들이 AI 를 테스트하고 더 발전시킬 수 있습니다.

요약

TACIT 는 **"말 없이 그림만으로, 직접 만들어내거나 정답을 골라내는 AI 의 진짜 시각적 지능을 측정하는 공정한 시험지"**입니다. 마치 아이가 말없이 블록으로 탑을 쌓을 수 있는지, 혹은 쌓인 탑 중 어느 것이 올바른지 구분할 수 있는지 보는 것과 같습니다. 이를 통해 우리는 AI 가 정말로 '생각'하는지, 아니면 단순히 '암기'하고 있는지를 더 정확하게 알 수 있게 됩니다.

기술 요약

TACIT 벤치마크 기술 요약

1. 문제 제기 (Problem)

기존의 시각적 추론 (Visual Reasoning) 벤치마크는 다음과 같은 근본적인 한계를 가지고 있습니다.

• 언어적 의존성: 많은 벤치마크가 자연어 프롬프트를 사용하여 추론 능력을 평가하므로, 모델의 시각적 추론 능력이 아닌 언어 이해 능력과 혼동될 수 있습니다.
• 평가 방식의 한계:
  • 선별적 (Discriminative) 평가만 존재: 객관식 문제만 제공하여 모델이 정답을 '구축'하는지, 아니면 옵션 중 하나를 '추측'하는지 구분하기 어렵습니다.
  • 주관적 평가: 인간 평가자나 LLM-as-judge 를 사용하여 점수를 매기므로 재현성 (Reproducibility) 이 떨어지고 편향이 발생할 수 있습니다.
• 범위의 제한: 추상적 유추나 공간 관계 등 특정 추론 양식에만 국한되어 있어 모델의 포괄적인 시각 인지 프로필을 평가하기 어렵습니다.

2. 방법론 (Methodology)

TACIT 벤치마크는 위 한계를 해결하기 위해 **프로그래밍 방식 (Programmatic)**으로 생성된 시각적 추론 벤치마크를 제안합니다.

• 디자인 원칙:

  1. 언어 최소화 (Language Minimality): 모든 지시가 시각적 레이아웃, 색상 코딩, 기하학적 규약으로 인코딩됩니다. 텍스트는 축 레이블이나 범례 등 최소한으로만 존재하여 언어적 혼란을 제거합니다.
  2. 이중 트랙 평가 (Dual-Track Evaluation): 동일한 퍼즐에 대해 두 가지 평가 트랙을 제공합니다.
     • 생성 트랙 (Generative): 모델이 솔루션 이미지를 직접 생성해야 함.
     • 선별 트랙 (Discriminative): 5 개의 후보 이미지 (정답 1 개 + 오답 4 개) 중 정답을 선택해야 함.
  3. 결정론적 검증 (Deterministic Verification): 모든 생성된 답변은 인간 개입 없이 컴퓨터 비전 (CV) 파이프라인을 통해 검증됩니다. (예: BFS 경로 검증, 픽셀 단위 그리드 비교, 구조적 유사도 SSIM 등)
  4. 파라미터화된 난이도: 그리드 크기, 규칙 복잡도, 노드 수 등 독립적인 난이도 축을 통해 문제의 난이도를 조절합니다.
  5. 근접 실패 오답 (Near-miss Distractors): 오답은 정답의 구조적 제약 조건 중 정확히 하나를 위반하도록 생성됩니다. 이는 모델이 표면적인 특징 매칭이 아닌 미세한 구조적 차이를 추론해야 함을 의미합니다.

• 작업 구성 (6 개 도메인, 10 개 태스크):

  1. 공간 추론: 다층 미로 (Multi-Layer Maze)
  2. 추상 패턴: Raven's Progressive Matrices (3x3 그리드 패턴 완성)
  3. 인과 시뮬레이션: 셀룰러 오토마타 (CA Forward: 상태 예측, CA Inverse: 규칙 역추적)
  4. 논리적 제약 충족: 시각적 논리 그리드 (Latin Square 기반)
  5. 그래프 이론: k-색칠 문제, 그래프 동형성 판별
  6. 위상수학: unknot (단순한 고리) 탐지
  7. 기하학적 투영: 정사영 (Orthographic) 및 등각 투영 (Isometric) 재구성

• 데이터셋:

  • 총 6,000 개의 퍼즐 (10 태스크 × 3 난이도 × 200 개).
  • 각 퍼즐은 1 개의 퍼즐 이미지, 1 개의 정답 이미지, 4 개의 오답 이미지로 구성됨.
  • 3 가지 해상도 (512, 1024, 2048 픽셀) 의 PNG 이미지 총 108,000 개 제공.
  • 단일 시드 (Seed 42) 로부터 결정론적으로 생성되어 재현성이 보장됨.

3. 주요 기여 (Key Contributions)

1. 다양한 추론 도메인을 아우르는 벤치마크: 6 개의 추론 도메인에 걸쳐 10 개의 파라미터화된 시각적 추론 태스크를 제공합니다.
2. 이중 트랙 평가 프레임워크: 생성 (Constructive) 과 선별 (Selective) 추론 간의 격차를 정량적으로 측정할 수 있는 체계를 도입했습니다.
3. 단일 제약 오답 시스템: 오답이 정답과 구조적으로 매우 유사하지만 하나의 제약만 위반하도록 설계하여, 모델의 추론 깊이를 진단할 수 있게 합니다.
4. 오픈 소스 및 재현성: HuggingFace 에서 Apache 2.0 라이선스로 데이터셋, 생성 코드, 평가 하네스를 공개하여 연구의 재현성과 확장을 가능하게 했습니다.

4. 결과 및 현황 (Results & Status)

• 현재 상태: 본 논문은 v0.1.0 버전의 데이터셋 발표에 해당합니다.
• 벤치마크 결과: 현재 논문에는 특정 멀티모달 모델에 대한 베이스라인 성능 결과가 포함되어 있지 않습니다. (계산 자원 요구로 인해 후속 연구에서 수행 예정)
• 제공 기능: 연구자들은 제공된 인프라를 사용하여 자신의 모델을 벤치마크할 수 있으며, 생성된 데이터와 검증 파이프라인을 통해 객관적인 평가를 수행할 수 있습니다.

5. 의의 및 중요성 (Significance)

• 시각 추론의 순수성 확보: 언어적 단서를 배제함으로써 모델이 실제로 시각적 정보를 어떻게 추론하는지 명확하게 파악할 수 있습니다.
• 모델 능력의 심층 진단: '생성 트랙'과 '선별 트랙'의 성능 차이를 분석함으로써, 모델이 정답을 **구축 (Construct)**할 수 있는지, 아니면 단순히 **인식 (Recognize)**만 하는지 구분할 수 있습니다. 이는 모델의 추론 깊이를 이해하는 데 중요한 지표가 됩니다.
• 과학적 엄밀성: 주관적인 인간 평가나 LLM 판정을 배제하고 결정론적인 CV 파이프라인을 도입하여 평가의 객관성과 재현성을 극대화했습니다.
• 향후 연구 방향: 자동 난이도 조정, 인간 성능 기준 설정, 추가 추론 도메인 확장 등을 위한 모듈러 아키텍처를 제공합니다.

결론적으로, TACIT 벤치마크는 생성형 및 판별형 멀티모달 모델의 시각적 추론 능력을 평가하기 위한 표준 도구로서, 언어적 편향을 제거하고 재현 가능한 엄밀한 평가를 통해 AI 의 시각 인지 능력 발전에 기여할 것으로 기대됩니다.