💬 NLP

Similarity Is Not Logic: Factored Inference for Dual-Encoder Vision-Language Models

이 논문은 듀얼 인코더 시각-언어 모델이 "Bag-of-Concepts" 유사성 인터페이스로 인해 구성적 추론에 실패한다는 점을 식별하고, 증거 추출과 제약 실행을 분리하여 검색 성능을 유지하면서도 논리적 정확도를 크게 향상시키는 LCSE(Logic-Constrained Score Editing)라는 학습이 필요 없는 방법을 제안한다.

원저자: Sultan Alshehri, Zhantao Yang, Han Zhang, Marios Savvides

게시일 2026-07-28

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Sultan Alshehri, Zhantao Yang, Han Zhang, Marios Savvides

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 수백만 장의 사진을 보여주고 말로 설명하며 세상을 "보는" 법을 가르치려 한다고 상상해 보세요. 이것은 컴퓨터가 이미지와 텍스트를 일치시키는 법을 배우는 인공지능의 한 분야인 시각-언어 모델(Vision-Language Models, VLMs)의 세계입니다. 이 로봇들이 학습하는 가장 대중적인 방법은 유사한 사진과 유사한 단어들이 서로 가까이 위치하도록 하는 공유 "지도"를 구축하는 것입니다. 당신이 로봇에게 질문을 던지면, 로봇은 단순히 당신의 단어와 이미지 사이의 거리를 측정하여 최적의 일치 항목을 찾아냅니다. 이것은 마치 거대한 "핫 앤 콜드(hot and cold)" 게임과 같아서, 로와봇은 당신이 입력한 단어와 닮은 이미지를 찾을수록 더 "뜨거워지는(확신을 갖는)" 식입니다.

하지만 이 단순한 거리 게임에는 까다로운 문제가 있습니다. 로봇은 "개"나 "공" 같은 개별적인 사물을 포착하는 데는 뛰어나지만, "개는 있지만 공은 없는" 또는 "고양이와 새가 있는" 것과 같이 이들을 논리적으로 결합하라는 요청을 받으면 종종 혼란에 빠집니다. 로봇은 "하지만 ~은 없는"이나 "그리고"와 같은 부분을 무시하고 그저 자신이 알고 있는 단어들만 쳐다보는 경향이 있습니다. 이는 마치 로봇이 문장의 규칙을 완전히 잊어버린 채 단어가 몇 번 나타나는지만 세는 "Bag of Words(단어 주머니)" 게임을 하고 있는 것과 같습니다. 이 논문은 왜 이런 현상이 발생하는지 조사하고, 모델의 전체 뇌를 다시 훈련시키지 않고도 로봇의 논리력을 고칠 수 있는 영리한 새로운 방법을 제안합니다.

문제점: 로봇의 "개념 주머니"

이 논문의 저자들은 복잡한 문장을 이해할 만큼 똑똑해야 할 표준 AI 모델들이 실제로는 매우 글자 그대로만 받아들이는, 약간 혼란스러워하는 사서처럼 행동한다는 것을 발견했습니다. 이 사서에게 "운전자가 없는 빨간 자동차"에 대한 책을 달라고 요청한다고 상상해 보세요. 사서는 운전자가 없는 차를 찾는 대신, "빨간"과 "자동차"라는 단어에 너무 집중한 나머지 "없는"이라는 단어를 완전히 무시해 버려, 운전자가 있는 빨간 자동차에 대한 책을 건네줍니다.

기술적인 용어로, 이 모델들은 "스칼라 유사도(scalar similarity)" 점수를 사용합니다. 이 점수를 이미지와 텍스트가 얼마나 잘 일치하는지를 알려주는 하나의 숫자로 생각하면 됩니다. 논문은 사용자가 결합된 아이디어(예: "A 그리고 B가 아님")를 요청할 때, 모델이 실제로 논리 연산을 수행하지 않는다는 것을 보여줍니다. 대신, 모델은 "A"에 대한 증거와 "B"에 대한 증거를 단순히 평균 냅니다. 이것은 마치 스무디를 만드는 것과 같습니다. 만약 당신이 "딸기는 있지만 바나나는 없는" 것을 요청한다면, 모델은 "아니"라는 지시를 성분을 제거하는 규칙으로 받아들이는 대신, 단순히 섞어야 할 또 다른 재료로 취급하여 딸기와 바나나를 함께 블렌딩하여 섞어버립니다.

연구진은 모델이 "우산과 사람이 없는"과 같은 특정 논리 규칙에 부합하는 이미지를 찾도록 요청함으로써 이를 테스트했습니다. 모델이 사진 속에 사람이 있는 것을 명확히 볼 수 있음에도 불구하고, 쿼리에 "사람"이라는 단어가 포함되어 있다는 이유만으로 그 사진을 좋은 매치로 순위를 매겼습니다. 모델은 사람을 보지 못한 것이 아니라, 사람을 걸러내기 위해 문장의 논리를 사용하는 데 실패한 것입니다.

조사: 왜 논리가 실패하는가

왜 이런 일이 발생하는지 알아내기 위해, 저자들은 단순히 추측하는 대신 모델의 뇌에 "수술"을 가했습니다. 그들은 모델이 읽는 텍술 내부를 들여다보며 논리 단어(예: "아니오" 또는 "그리고")가 실제로 문장의 의미를 바꾸는지 확인했습니다. 그 결과, 논리는 텍스트 안에 숨겨져 존재하기는 했지만, 최종 점수를 바꿀 만큼은 너무 약하다는 것을 발견했습니다.

텍스트 임베딩(문장의 디지털 표현)을 무거운 상자를 나르는 두 명의 팀이라고 상상해 보세요. 한 사람은 "개념"(명사)을 나타내고, 다른 한 사람은 "논리"("그리고" 또는 "아님")를 나타냅니다. 논문은 "개념"을 담당하는 사람은 거인이고, "논리"를 담당하는 사람은 아주 작은 아이라는 것을 발견했습니다. 두 사람이 상자를 밀어 어떤 이미지를 선택할지 결정할 때, 거인이 너무 세게 밀어서 작은 아이의 밀기는 완전히 무시됩니다. 결과는 어떨까요? 상자는 개념의 방향으로 움직이며, 논리는 혼란 속에서 길을 잃게 됩니다.

저자들은 단순히 모델을 재학습(새로운 예시를 가르치는 것)시키는 것이 해결책이 될 수 있는지도 확인했습니다. 그들은 모델에게 "아니오"나 "아니"의 사례를 수천 번 학습시킨 후에도 모델이 여전히 어려움을 겪는다는 것을 발견했습니다. 이는 마치 왼손잡이인 사람에게 더 많은 연습을 시켜서 오른손으로 완벽하게 글씨를 쓰게 하려는 것과 같습니다. 근본적인 병목 현상은 연습 부족이 아니라, 모델이 점수를 결합하는 방식인 밑바탕의 "근육 기억"에 있습니다.

해결책: 팩터드 추론(Factored Inference)과 LCSE

모델의 내부 "논리 근육"이 문제를 해결하기에 너무 약기 때문에, 저자들은 **팩터드 추론(Factored Inference)**이라는 새로운 전략을 제안했습니다. 모델에게 모든 일을 한꺼번에 처리하도록 요청하는 대신, 작업을 두 개의 별도 단계로 나누기로 했습니다.

증거 추출(Evidence Extraction): 먼저, 변경되지 않은(frozen) 모델에게 개별 개념을 단순히 식별하도록 요청합니다. "개가 있는가? 예, 90% 확신함. 고양이가 있는가? 예, 80% 확신함."
제약 실행(Constraint Execution): 그런 다음, 그 숫자들을 가져와 모델 외부에서 논리 연산을 수행합니다. 만약 사용자가 "개는 있지만 고양이는 없는"이라고 말했다면, 시스템은 "개" 점수를 가져오고 "고양이" 점수를 빼거나(또는 "고양이가 없음"을 나타내기 위해 점수를 반전시켜) 엄격한 논리 규칙을 사용하여 결합합니다.

이를 모델의 일반적인 문장 처리 능력을 해치지 않으면서 구현하기 위해, 저자들은 **LCSE(Logic-Constrained Score Editing, 논리 제약 점수 편집)**라는 방법을 도입했습니다. LCSE를 스마트한 편집자라고 생각하세요. 이 편집자는 모델의 원래 답변을 경청하지만, 문장에 논리 규칙(예: "아니오" 또는 "그리고")이 포함되어 있다면 개입하여 논리가 작동하도록 최종 점수를 적절히 조정합니다. 문장이 단순하다면 편집자는 점수를 그대로 둡니다. 이렇게 하면 모델은 원래의 "성격"과 검색 능력을 유지하면서도, 마침내 논리 규칙을 준수하게 됩니다.

결과: 논리의 큰 도약

새로운 방식의 결과는 인상적이었습니다. 저자들은 논리 이해도를 테스트하기 위해 특별히 설계된 새로운 벤치마크인 FACTOR-Bench를 통해 시스템을 테스트했습니다.

기존 방식: 부정(negation)을 이해하도록 특별히 훈련된 기존의 우수한 모델들도 논리 질문의 약 **73.2%**만을 맞혔습니다.
새로운 방식 (LCSE): 동일한 기본 모델을 사용하면서 새로운 "편집기"를 적용한 저자들의 방식은 정확도가 **85.5%**로 뛰어올랐습니다.
더 나아가: 이 방식을 더 강력하고 새로운 모델인 SigLIP 2에 적용했을 때, 정확도는 **90.7%**까지 치솟았습니다.

그들은 또한 "아니오"와 "아니" 질문에 집중하는 NegBench라는 다른 도전 과제에서도 테스트를 진행했습니다. 표준 모델은 단 **27.2%**만을 맞혔지만, LCSE를 사용하자 **65.2%**로 개선되었습니다. 결정적으로, 이 엄청난 논리력 향상은 모델의 일반적인 검색 능력에는 피해를 주지 않았으며, 표준 이미지 검색에 대해서도 동일하게 높은 성능을 유지했습니다.

이것이 중요한 이유

이 논문은 AI 모델이 "보고" 혹은 "읽는" 능력이 부족한 것이 아니라, 복잡한 작업을 수행할 때 정보를 결합하는 방식이 근본적으로 결함이 있다는 점을 시사합니다. "보는 것"(개념 찾기)과 "생각하는 것"(논리 규칙 적용)을 분리함으로써, 우리는 모델을 처음부터 다시 구축하지 않고도 훨씬 더 똑똑하게 만들 수 있습니다. 이는 때때로 똑똑한 로봇을 고치는 가장 좋은 방법은 더 많은 사실을 가르치는 것이 아니라, 이미 알고 있는 사실을 위한 더 나은 계산기를 주는 것임을 상기시켜 줍니다.

기술 요약: 유사성은 논리가 아니다: 듀얼 인코더 시각-언어 모델을 위한 분해된 추론 (Factored Inference)

1. 문제 정의

CLIP 및 SigLIP과 같은 듀얼 인코더 시각-언어 모델(VLM)은 이미지와 텍스트를 공유 임베딩 공간으로 매핑하기 위해 스칼라 유사도 인터페이스(일반적으로 코사인 유사도 또는 내적)를 사용합니다. 이러한 인터페이스는 제로샷 검색에는 매우 효과적이지만, 논리 연산자(부정, 접속, 선언)가 포함된 **구성적 제약 조건(compositional constraints)**을 충족하는 데 실패합니다.

핵심 문제는 "개념의 가방(Bag-of-Concepts)" 효과라는 인터페이스 수준의 결함입니다. 쿼리에 논리 연산자(예: "우산 그리고 사람 없음")가 포함될 경우, 스칼라 유사도 점수는 개별 개념에 대한 증거의 **평균 풀링(mean pooling)**을 근사할 뿐, 논리 연로를 실행하지 않습니다. 그 결과 다음과 같은 현상이 발생합니다:

부정 실패: "사람 없음(no person)"과 같은 쿼리는 사람이 포함된 이미지를 검색하는 경우가 많은데, 이는 유사도 점수가 개념의 부재가 아닌 존재 여부를 추적하기 때문입니다.
접속 불안정: "A와 B(A and B)"와 같은 쿼리는 종종 A 또는 B만을 포함하는 이미지를 검색합니다.
배제 실패: "A도 B도 아닌(neither A nor B)" 것과 같이 특정 개념을 제외하려는 쿼리는 체계적으로 해당 개념을 포함하는 이미지를 검색합니다.

저자들은 이러한 실패가 텍스트 임베딩에 연산자 의존적 정보가 부족해서가 아니라(정보는 존재하지만 약할 뿐임), 실행 메커니즘 때문이라고 분석합니다. 즉, 내적(dot-product) 스코어링은 연산자 의미론을 억제하는 방식으로 증거를 집계하며, 논리적 구조와 상관없이 소프트 평균 풀링(soft mean-pooling)처럼 동작합니다.

2. 방법론: 분해된 추론(Factored Inference) 및 LCSE

본 논문은 **증거 추출(evidence extraction)**과 **제약 조건 실행(constraint execution)**을 분리하는 패러다임인 **분해된 추론(Factored Inference)**을 제안합니다. 이 방법은 복합 쿼리의 전체론적 유사성에 의존하는 대신, 각 원자적 개념에 대한 개별 증거를 추출하고 외부에서 논리 연산자를 실행합니다.

2.1. 논리 제약 스코어 편집 (LCSE)

주요 기여는 LCSE로, 이는 표준 검색 성능을 유지하면서 논리적 제약을 강제하기 위해 동결된(frozen) VLM의 유사도 점수를 수정하는 학습이 필요 없는(training-free) 방법입니다. 과정은 다음 네 단계로 구성됩니다:

파싱(Parsing): 쿼리를 시각적 개념( $c_i$ ), 그 극성(존재/부재, $n_i$ ), 그리고 논리 연산자( $o$ )로 파싱합니다.
증거 추출(Evidence Extraction): 동결된 VLM이 이미지와 각 원자적 개념 구절을 독립적으로 인코딩하여 존재 점수( $p_i$ )를 생성합니다. 이 점수는 시그모이드 함수를 사용하여 원시 유사도로부터 확률로 보정됩니다.
제약 실행(Constraint Execution):
- 극성 조정: 부정된 개념의 경우, 점수를 반전시킵니다 ( $1 - p_i$ ).
- 집계(Aggregation): 조정된 점수들은 **거듭제곱 평균(power mean, $M_\gamma$ $M_{γ}$ )**을 사용하여 집계됩니다.
  - 접속( $A \land B$ )은 $\gamma < 0$ (최솟값에 근접)을 사용합니다.
  - 선언( $A \lor B$ )은 $\gamma \gg 1$ (최댓값에 근접)을 사용합니다.
  - 이는 홀리스틱 점수의 암묵적인 평균 풀링을 논리 함수적 집계로 대체합니다.
스코어 편집 (The "LCSE" Step): 원자적 개념 점수로 포착되지 않는 홀리스틱 정보(장면 맥락, 스타일, 공간적 배치 등)의 손실을 방지하기 위해, 이 방법은 원래의 홀리스틱 점수( $s_{hol}$ )에 경량화된 보정을 적용합니다:
$s_{LCSE} = s_{hol} + \frac{1}{\beta} \left( \text{logit}(p_{logic}) - \text{logit}(p_{soft}) \right)$
여기서 $p_{logic}$ 은 집계된 제약 점수이고, $p_{soft}$ 는 개념 점수의 단순 평균입니다. 이 항은 논리 연산자가 비-평균 집계(예: 엄격한 접속 또는 부정)를 요구할 때만 홀리스틱 점수를 조정합니다. 연산자가 없는 경우, 보정값은 사라지며 방법은 표준 홀리스틱 검색으로 돌아갑니다.

3. 주요 기여

제약 실패의 메커니즘 분석: 저자들은 텍스트 임베딩의 "스팬-잔차 분해(span-residual decomposition)"를 통해, 연산자 의존적 신호가 잔차(residual) 성분에 존재하지만, 표준 내적 스코어링 하에서는 너무 약하거나 정렬되지 않아 순위에 영향을 미치지 못함을 입증했습니다. 스팬(span) 성분은 개념 증거에 의해 지배되며 평균 풀링을 근사하여 실패를 유발합니다.
학습이 필요 없는 인터페이스 (LCSE): 인코더를 재학습하지 않고도 원자적 증거에 대해 불리언(Boolean) 제약을 명시적으로 실행하는 방법입니다. 이는 표준 검색 동작을 보존합니다.
FACTOR-Bench: 연산자 대조 캡션 쌍(동일한 개념, 다른 연산자)과 검증된 정답 개념 존재/부재를 사용하여 불리언 연산자 의미론을 테스트하도록 설계된 새로운 벤치마크입니다.
실험적 검증: LCSE가 표준 제로샷 검색 성능을 유지하면서 논리적 제약에 대해 미세 조정된 베이스라인들을 크게 능가함을 광범위한 평가를 통해 보여줍니다.

4. 실험 결과

저자들은 CLIP 및 SigLIP 2 백본을 사용하여 FACTOR-Bench, NegBench, 그리고 표준 검색 유지 과제에 대해 LCSE를 평가했습니다.

FACTOR-Bench 정확도:
- LCSE (CLIP): **85.5%**의 정확도를 달성하여, 가장 우수한 미세 조정 베이스라인인 NegationCLIP(73.2%)을 크게 앞질렀습니다.
- LCSE (SigLIP 2): **90.7%**의 정확도를 달성하여, 더 나은 원자적 증거가 더 나은 제약 실행으로 이어진다는 것을 입증했습니다.
- 부정 처리: NegBench MCQ에서, LCSE는 CLIP의 경우 56.2%(NegCLIP-NegFull)에서 **60.3%**로, SigLIP 2의 경우 27.2%에서 **65.2%**로 정확도를 향상시켰습니다.
검색 유지력(Retrieval Retention): 미세 조정된 모델들이 흔히 표준 검색 성능을 저하시키는 것과 달리(순위 상관계수 $\rho \approx 0.63\text{--}0.85$ ), LCSE는 표준 검색 성능을 거의 완벽하게 보존합니다 ( $\rho = 0.999$ for CLIP, R@5 변화 없음).
계층적 분석: LCSE의 성능 이득은 원자적 증거의 품질에 따라 달라집니다. 개념 탐지가 신뢰할 수 있을 때(AUC > 0.90), LCSE는 90.4%의 정확도에 도달하는 반면, 홀리스틱 스코어링은 57.8%에 그칩니다.
절제 연구(Ablation): 이 방법은 다양한 백본과 집계 전략 전반에서 작동합니다. "스코어 편집" 구성 요소가 매우 중요합니다. 이를 제거하면(단순히 분해된 스코어만 사용하는 경우), 명시적 연산자가 없는 자연어 쿼리에 대한 검색 성능이 저하됩니다.

5. 의의 및 주장

본 논문은 VLM이 구성적 논리를 처리하지 못하는 이유가 표현 수준의 실패(인코더가 무엇을 표현하는가)보다는 주로 인터페이스 수준의 병목 현상(점수가 증거를 어떻게 집계하는가)이라고 주장합니다.

제한된 범위: 저자들은 자신들의 분석과 방법이 시각적 개념에 대한 불리언 연산자(1~~2개의 개념, 일부 3~~4개 확장)에 대해 검증되었음을 명시합니다. 모든 구성적 추론(예: 속성 결합, 관계, 개수 세기)을 해결한다고 주장하는 것이 아니라, 신뢰할 수 있는 원자적 증거가 있다면 분해된 추론의 원리가 확장될 수 있음을 시사합니다.
실용적 영향: 이 방법은 기존의 동결된 VLM에 적용하여 미세 조정의 불안정성이나 데이터 요구 사항 없이 구조화된 쿼리 및 필터링을 가능하게 하는 학습이 필요 없는(training-free) 솔루션을 제공합니다.
한계점: 이 접근 방식은 불리언 구조를 파싱하는 능력(높은 정확도의 LLM 파서로 처리됨)과 기본 인코더의 원자적 개념 탐지 품질에 의존합니다. 인코더가 개념을 신뢰할 수 있게 탐지하지 못한다면, 외부 실행이 정확성을 회복할 수 없습니다.

요약하자면, 본 논문은 "유사성은 논리가 아니다"라고 주장하며, 증거 추출과 논리적 제약 실행을 분리하는 분해된 추론(Factored Inference) 메커니즘을 제안함으로써, 표준 VLM의 강력한 제로샷 검색 능력을 유지하면서도 논리적 작업에서 높은 정확도를 달성합니다.