🤖 AI

Test-Time Matching: Unlocking Compositional Reasoning in Multimodal Models

본 논문은 새로운 그룹 매칭 점수를 통해 평가 인공물을 수정하고 멀티모달 모델의 구성적 추론 능력을 크게 향상시켜 주요 벤치마크에서 이전 최첨단 결과 및 추정된 인간 성능을 능가하도록 하는 반복적 자기 개선 알고리즘인 테스트 시간 매칭 (TTM) 을 소개합니다.

원저자: Yinglun Zhu, Jiancheng Zhang, Fuzhi Tang

게시일 2026-04-27

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yinglun Zhu, Jiancheng Zhang, Fuzhi Tang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

매우 까다로운 논리 퍼즐 시험을 치른다고 상상해 보세요. 이 시험은 한 번에 하나의 문제만 풀도록 요구하지 않습니다. 대신 두 개의 그림과 두 개의 설명으로 구성된 작은 '그룹'을 제시합니다. 설명들은 정확히 같은 단어를 사용하지만 순서만 다릅니다. 당신의 임무는 올바른 그림을 올바른 설명에 매칭하는 것입니다.

오랫동안 AI 모델들 (시험을 치르는 '학생들') 은 이 특정 유형의 퍼즐에서 실패해 왔습니다. 그들은 다른 작업에서는 놀라울 정도로 뛰어나지만, 종종 무작위로 추측하는 것처럼 보일 정도로 낮은 점수를 받습니다.

이 논문은 '학생'이 아니라 시험 자체가 조작되어 있다고 주장합니다. 저자들은 이러한 AI 모델들이 진정한 지능을 발휘할 수 있도록 돕는 새로운 채점 방식과 새로운 학습 기법을 소개합니다.

다음은 그들의 발견과 해결책에 대한 요약입니다:

1. 결함이 있는 채점 시스템 ('전부 아니면 전무'의 함정)

연결 시험을 채점하는 교사를 상상해 보세요. 기존 규칙 ( GroupScore 라고 함) 은 매우 엄격했습니다:

한 쌍의 두 연결을 모두 맞추면 1 점을 받습니다.
단 하나라도 틀리면 그 전체 쌍에 대해 0 점을 받습니다.

저자들은 이 규칙이 불공평하다고 깨달았습니다. 마치 "수학 문제의 99% 를 정확하게 풀었지만 아주 작은 부호 실수를 하나 했다면 0 점이다"라고 말하는 것과 같습니다. 규칙이 너무 엄격하기 때문에 똑똑한 모델조차 실패하는 것처럼 보입니다.

해결책: 새로운 채점 규칙 (GroupMatch)
저자들은 GroupMatch라는 새로운 규칙을 제안했습니다. 각 쌍을 고립시켜 보는 대신, 이 규칙은 전체 그룹의 총점을 봅니다.

유추: 두 개의 과일 바구니가 있다고 가정해 보세요. 기존 규칙은 "바구니 A 에 잘못된 사과를 넣으면 낙제다"라고 말했습니다. 새로운 규칙은 "전체적으로 바구니에 넣은 사과가 최선의 것이었는가?"라고 묻습니다.
결과: 이 더 공정한 규칙으로 AI 모델들을 다시 채점했을 때 점수가 급상승했습니다. 갑자기 무작위로 추측하는 것처럼 보였던 모델들이 실제로 대부분의 정답을 맞추고 있었습니다. 그들은 단지 그것을 증명할 더 나은 방법이 필요했을 뿐입니다.

2. 'SimpleMatch' 트릭 (빠른 해결책)

저자들이 모델들이 실제로 정답을 알고 있다는 것을 깨닫자, 그 '숨겨진 지식'을 다시 기존의 엄격한 채점 시스템으로 변환하는 간단한 방법을 발견했습니다.

먼저 모델이 새로운 공정한 규칙을 사용하여 전체적으로 가장 좋은 연결을 선택하도록 합니다.
그런 다음 모델이 그 선택을 고수하도록 강제합니다.
결과: 이 간단한 단계로 최상위 AI(GPT-4.1) 가 가장 어려운 퍼즐 시험에서 추정된 평균 인간 점수보다 높은 점수를 기록했습니다. 이는 AI 가 추론 능력이 부족해서가 아니라, 기술적인 이유로 채점받고 있었음을 증명했습니다.

3. '테스트 타임 매칭 (TTM)' 학습 세션

저자들은 여기서 멈추지 않았습니다. 그들은 교사의 도움 없이 시험을 치르는 동안 모델들을 더 똑똑하게 만들고 싶어 했습니다. 그래서 **테스트 타임 매칭 (TTM)**이라는 방법을 고안해 냈습니다.

TTM 을 최종 시험 직전에 이루어지는 자기 개선 학습 세션이라고 생각하세요:

첫 번째 추측: 모델이 시험 문제를 보고 연결에 대한 최선의 추측을 합니다.
신뢰도 확인: 모델이 스스로에게 "이 추측에 대해 얼마나 확신하는가?"라고 묻습니다.
- 매우 확신한다면, 그 추측을 '사실'(가상 라벨) 로 간주하고 그것을 학습합니다.
- 불확실하다면, 당분간 그 추측을 무시합니다.
학습: 모델은 방금 학습한 '사실'을 기반으로 뇌를 빠르게 조정 (파인튜닝) 합니다.
규칙 완화: 모델이 더 똑똑해짐에 따라 저자들은 '신뢰도 기준'을 낮춥니다. 이제 모델은 이전에 불확실했던 약간 더 어려운 문제들도 학습하기 시작합니다.
루프: 이 사이클을 반복하며, 전체 세트를 마스터할 때까지 점점 더 많은 시험 문제들로부터 학습합니다.

유추: 연습 시험을 치르는 학생을 상상해 보세요. 단순히 답을 표시하는 대신, "이 5 개 문제는 100% 확신하니까 그 뒤에 있는 논리를 외우겠다"라고 말합니다. 그다음 "좋아, 다음 5 개는 90% 확신하니까 이것들도 공부하자"라고 말합니다. 끝날 때쯤이면 시험지 자체를 보면서 자료를 학습한 것입니다.

결과

이 방법을 사용하여 저자들은 다음과 같은 인상적인 업적을 달성했습니다:

새로운 기록: 여러 어려운 벤치마크에서 새로운 '최첨단 (State of the Art)' 기록을 세웠습니다.
거인들 격파: 이 학습 기법을 사용한 후, 작고 전문화된 모델 (SigLIP-B16) 이 특정 추론 작업에서 방대하고 범용적인 AI(GPT-4.1) 를 능가할 수 있었습니다.
어디서나 작동: 이 트릭은 까다로운 '그룹' 퍼즐뿐만 아니라 그룹이 전혀 없는 테스트에서도 작동했습니다. 심지어 텍스트를 생성하는 모델 (예: 이야기 쓰기) 과 이미지만 비교하는 모델에서도 작동했습니다.

핵심 교훈

이 논문은 AI 모델들이 우리가 생각했던 것보다 '구성적 추론'(새로운 상황을 이해하기 위해 조각들을 맞추는 능력) 에 훨씬 더 능숙하다고 결론 내립니다. 우리는 단지 그들을 올바르게 측정하지 못했을 뿐입니다. 채점 시스템을 수정하고 모델들이 자신의 시험 답안으로부터 학습할 수 있는 방법을 제공함으로써, 새로운 데이터나 인간 교사의 도움 없이도 그들의 진정한 잠재력을 unlocking 할 수 있습니다.

1. 문제 정의 (Problem Statement)

최신 멀티모달 모델(VLM, MLLM)들은 뛰어난 성능을 보임에도 불구하고, 객체, 속성, 관계를 조합하여 추론하는 조합적 추론(Compositional Reasoning) 능력에서는 매우 취약한 모습을 보입니다. 특히 Winoground와 같은 벤치마크에서 모델들의 성능이 무작위 추측(Random Guessing) 수준이거나 그 이하로 보고되는 문제가 있었습니다.

본 논문은 이 현상의 원인을 두 가지 측면에서 분석합니다:

평가 지표의 결함: 기존의 표준 지표인 GroupScore가 모델의 실제 능력을 체계적으로 과소평가하고 있음.
모델의 잠재력 미활용: 모델이 이미 어느 정도의 조합 능력을 갖추고 있음에도, 테스트 시점에 이를 최적화할 방법이 부족함.

2. 핵심 방법론 (Methodology)

A. 평가 지표의 재정의: GroupMatch 및 SimpleMatch

GroupMatch (새로운 지표): 기존 GroupScore는 각 이미지-캡션 쌍이 개별적으로 완벽해야 한다는 지나치게 엄격한 제약(row/column max 조건)을 가집니다. 반면, GroupMatch는 그룹 내에서 **전체 유사도의 합이 최대가 되는 최적의 매칭(Bijection)**을 찾는 방식입니다. 이는 모델이 그룹 내의 관계를 전체적으로 파악하고 있는지를 더 정확하게 측정합니다.
SimpleMatch: GroupMatch를 통해 찾아낸 최적의 매칭에 모델을 살짝 과적합(Overfitting)시키면, 기존 GroupScore에서도 높은 점수를 얻을 수 있음을 증명했습니다. 이는 모델의 '숨겨진 능력'을 끌어내는 과정입니다.

B. Test-Time Matching (TTM) 알고리즘

단순한 매칭을 넘어, 모델의 성능을 반복적으로 끌어올리는 자기 개선(Self-improving) 알고리즘입니다.

Iterative Pseudo-labeling: 테스트 데이터셋의 각 그룹에서 모델이 가장 자신 있게 예측한 매칭을 '의사 라벨(Pseudo-label)'로 생성합니다.
Decaying Threshold Schedule (감쇠 임계값 스케줄):
- 초기에는 매우 높은 임계값( $\tau$ )을 적용하여 **정밀도(Precision)**가 높은(확실한) 데이터만 학습에 사용합니다.
- 반복(Iteration)이 진행됨에 따라 임계값을 점진적으로 낮추어, 더 많은 데이터를 학습에 포함함으로써 **재현율(Recall)**을 높입니다.
Self-Training: 생성된 의사 라벨을 사용하여 모델을 테스트 시점에 미세 조정(Finetuning)합니다.

C. Global Matching (그룹 구조가 없는 경우)

그룹 구조가 없는 일반적인 데이터셋의 경우, 전체 데이터셋을 하나의 거대한 그룹으로 간주하고 헝가리안 알고리즘(Hungarian Algorithm) 등을 사용하여 전역적 최적 매칭을 수행하는 방식으로 확장 적용했습니다.

3. 주요 기여 (Key Contributions)

평가 지표 교정: GroupScore가 모델 능력을 과소평가함을 수학적으로 증명하고, 더 신뢰할 수 있는 GroupMatch를 제안했습니다.
TTM 알고리즘 제안: 외부 감독(External Supervision) 없이 테스트 시점에 모델의 성능을 스스로 높이는 반복적 알고리즘을 개발했습니다.
범용성 입증: TTM은 대조 학습 기반 모델(SigLIP, CLIP)뿐만 아니라 생성형 멀티모달 모델(SmolVLM)에서도 효과적이며, 그룹 구조가 없는 데이터셋에서도 작동함을 보였습니다.

4. 실험 결과 (Results)

Winoground 벤치마크: GPT-4.1에 SimpleMatch를 적용했을 때, 기존의 성능을 압도하고 **처음으로 인간의 추정 성능(85.5)을 넘어선 결과(91.38)**를 기록했습니다.
SOTA 경신: SigLIP-B16 모델에 TTM을 적용하여 MMVP-VLM 벤치마크에서 GPT-4.1을 능가하는 새로운 **State-of-the-Art(SOTA)**를 달등했습니다.
강력한 성능 향상: 그룹 구조가 없는 WhatsUp 데이터셋에서 TTM은 최대 85.7%의 상대적 성능 향상을 보였습니다.
오차 감소: 다양한 데이터셋에서 기존 모델 대비 상대적 오차(Error Reduction)를 최대 54.8%까지 줄였습니다.

5. 의의 (Significance)

본 논문은 멀티모달 모델의 성능 저하가 모델 자체의 근본적인 결함 때문만이 아니라, 부적절한 평가 방식에 의해 과장되었을 가능성을 시사합니다. 또한, **테스트 시점의 적응(Test-time adaptation)**이 추가적인 데이터 없이도 모델의 조합적 추론 능력을 극대화할 수 있는 매우 강력한 도구임을 입증함으로써, 향후 멀티모달 모델의 평가 및 학습 패러다임에 중요한 통찰을 제공합니다.