💬 NLP

Disparities In Negation Understanding Across Languages In Vision-Language Models

이 논문은 7 개 언어로 구성된 인간 검증 멀티링구얼 부정 벤치마크를 통해 비전 - 언어 모델의 부정 이해 편향이 언어별 형태론과 구문 구조에 따라 다르게 나타남을 규명하고, 기존 해결책이 모든 언어 공동체에 공평하게 적용되지 않을 수 있음을 보여줍니다.

원저자: Charikleia Moraitaki, Sarah Pan, Skyler Pulling, Gwendolyn Flusche, Kumail Alhamoud, Marzyeh Ghassemi

게시일 2026-04-22

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Charikleia Moraitaki, Sarah Pan, Skyler Pulling, Gwendolyn Flusche, Kumail Alhamoud, Marzyeh Ghassemi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🕵️‍♂️ 핵심 문제: 인공지능의 "긍정 편향" (Affirmation Bias)

상상해 보세요. 인공지능에게 "배가 없는 그림을 찾아줘"라고 했을 때, 인공지능은 배가 있는 그림을 찾아옵니다. 왜일까요? 인공지능은 '배'라는 단어를 보자마자 "아! 배!"라고 흥분해서 그 단어가 포함된 모든 그림을 선택해 버리기 때문입니다. '없다 (No/Not)'라는 부정의 의미를 무시하고, '무엇이 있다'는 사실만 쫓는 것입니다.

이것을 **인공지능의 '긍정 편향'**이라고 부릅니다. 마치 친구에게 "오늘 비가 오지 않는 날을 알려줘"라고 했는데, 친구가 "비 (Rain)"라는 단어만 보고 "오늘 비가 오는 날이야!"라고 대답하는 것과 비슷합니다.

🌍 새로운 발견: 언어마다 '부정'을 표현하는 방식이 다릅니다!

기존 연구들은 영어만 가지고 이 문제를 해결하려 했습니다. 하지만 이 연구팀은 "부정 (아니오)"을 표현하는 방식은 언어마다 천차만별인데, 영어만 기준으로 하면 안 된다고 지적합니다.

영어/스페인어/그리스어: "No boat"처럼 '아니오'라는 단어를 문장 앞에 붙이는 방식 (독립된 부사).
러시아/아랍어: 동사 모양을 바꿔서 부정의 의미를 담는 방식 (복잡한 문법 변화).
중국어: 문맥에 따라 다른 부정 단어를 쓰거나, 문장 구조가 완전히 다른 방식.

이 연구팀은 **7 개 언어 (영어, 중국어, 아랍어, 그리스어, 러시아어, 타갈로그어, 스페인어)**로 테스트를 진행했습니다. 마치 7 개의 서로 다른 나라에서 "배가 없는 그림을 찾아줘"라는 미션을 주고, 인공지능이 얼마나 잘 수행하는지 확인한 셈입니다.

📊 실험 결과: 인공지능의 실력 차이

연구팀은 세 가지 다른 인공지능 모델 (CLIP, SigLIP, MultiCLIP) 을 테스트했습니다. 결과는 놀라웠습니다.

영어는 그래도 나쁘지 않음: 영어에서는 인공지능이 어느 정도 정답을 맞췄습니다.
비영어권은 '랜덤' 수준: 특히 아랍어, 타갈로그어, 그리스어 같은 언어에서는 인공지능이 무작위 추측 (동전 던지기) 보다도 못 하는 결과를 보였습니다. 즉, "배가 없다"는 말을 전혀 이해하지 못하고 엉뚱한 그림을 골라낸 것입니다.
MultiCLIP 모델이 가장 나음: 여러 언어로 훈련된 모델이 가장 고른 성적을 냈지만, 그래도 평균 점수는 41% 로, 여전히 절반 이상을 틀렸습니다.

🛠️ 해결책 시도: "SpaceVLM"이라는 교정기

연구팀은 기존에 제안된 해결책인 SpaceVLM을 적용해 보았습니다. 이 기술은 인공지능이 문장을 분석할 때 "있다"는 부분과 "없다"는 부분을 분리해서 생각하게 도와주는 도구입니다.

그런데 여기서 재미있는 패턴이 발견되었습니다.

성공한 언어 (영어, 스페인어, 그리스어, 타갈로그어): "아니오"라는 단어를 문장 앞에 붙이는 언어들은 이 교정기를 쓰자마자 실력이 급상승했습니다. (영어는 23% 점수 상승, 타갈로그어는 38% 상승!)
실패한 언어 (중국어, 러시아어, 아랍어): 문법 구조가 복잡하거나 부정 방식이 다른 언어들은 교정기를 써도 점수가 오르지 않거나, 오히려 떨어지기도 했습니다.

🎯 결론: "한 가지 해결책은 모든 언어에 통하지 않는다"

이 연구의 핵심 메시지는 다음과 같습니다.

"인공지능의 '부정' 이해 능력은 언어의 문법 구조와 밀접하게 연결되어 있습니다."

영어처럼 "아니오"라는 단어를 따로 쓰는 언어는 영어식으로 만든 해결책이 잘 통하지만, 문법 구조가 복잡한 언어에는 그 해결책이 먹히지 않습니다.

일상적인 비유로 정리하면:

인공지능이 여러 나라의 친구들을 만나고 있는데, **"아니오"라는 말을 고개를 끄덕여서 표현하는 친구 (영어권)**에게는 고개 끄덕임만 하면 통하지만, **"아니오"라는 말을 손가락으로 특정 제스처로 표현하는 친구 (러시아/아랍어권)**에게는 고개 끄덕임만 해서는 전혀 통하지 않는 상황입니다.

그런데 우리는 그동안 "고개 끄덕임"만 가르쳐 왔습니다. 그래서 영어 친구들은 잘 이해하지만, 다른 친구들은 완전히 혼란에 빠진 것입니다.

💡 이 연구가 우리에게 주는 교훈

이 연구는 인공지능이 전 세계에 보급될 때, 단순히 "해결책이 작동하는가?"만 묻지 말고 "누구를 위해 작동하는가?"를 물어봐야 한다고 말합니다.

안전한 세상 만들기: 의료나 안전 분야 (예: "폐수종이 없다" vs "폐수종이 있다") 에서 언어별 편차가 크다면, 특정 언어를 쓰는 사람들은 잘못된 진단을 받을 위험이 큽니다.
공정한 AI: 모든 언어를 공정하게 대우하려면, 각 언어의 고유한 문법 구조 (부정 표현 방식) 를 이해하고 그에 맞춰 인공지능을 훈련시켜야 합니다.

결론적으로, 인공지능이 전 세계 모든 사람의 언어를 똑같이 잘 이해하려면, "영어식 해결책"을 모든 언어에 무작정 적용하는 것을 멈추고, 언어마다 다른 문법 구조를 존중하는 새로운 접근이 필요하다는 것을 이 논문은 강력하게 주장합니다.

1. 문제 정의 (Problem)

비전 - 언어 모델 (VLM) 은 **'부정 편향 (Affirmation Bias)'**이라는 체계적인 오류를 보입니다. 이는 모델이 "X 가 없다 (no X)"와 같은 부정 문장을 처리할 때, 실제 이미지에는 X 가 없더라도 단어 'X'가 존재한다는 사실만 보고 "X 가 있다"는 긍정 캡션과 매칭시키는 경향을 의미합니다.

현재의 한계: 기존 연구는 주로 영어 환경에서 이 문제를 문서화하고 해결책을 제시했습니다.
언어적 다양성 부재: 부정은 언어마다 형태소 (morphology), 어순, 클리틱 (cliticization) 패턴 등이 다릅니다. 예를 들어, 영어는 단순한 부사성 입자 ("no", "not") 를 사용하지만, 그리스어는 존재 부정 ("there does not exist"), 아랍어는 오른쪽에서 왼쪽으로 읽는 문자 체계 내의 접착형 마커, 중국어는 고립어적 입자를 사용합니다.
형평성 문제: 이러한 구조적 차이가 모델의 성능에 영향을 미칠 수 있음에도 불구하고, 영어 중심의 평가는 전 세계 다양한 언어 커뮤니티에 대한 공정한 배포를 저해할 수 있습니다.

2. 방법론 (Methodology)

가. 다국어 부정 벤치마크 구축 (Benchmark Construction)

데이터셋 확장: 기존 영어 NegBench 데이터셋 (COCO 이미지 - 캡션 5,914 개, 4 지선다형) 을 7 개 언어로 확장했습니다.
선정 언어: 언어 유형론적 다양성을 고려하여 선정:
- 독립 입자 부정: 영어, 스페인어, 그리스어, 타갈로그어
- 형태소적으로 복잡한 부정: 러시아어, 아랍어
- 고립어적/의미적 기능이 다른 부정 입자: 중국어 (만다린)
검증 과정: 구글 번역기를 사용한 후, 원어민 화자 (언어당 30 샘플) 가 부정 마커의 정확한 번역, 의미적 충실도, 자연스러움을 검증하여 인간이 검증한 첫 번째 다국어 부정 벤치마크를 완성했습니다.

나. 평가 모델 및 기법

평가 대상 모델:
1. CLIP: 주로 영어로 학습된 모델.
2. SigLIP: 다국어 학습 모델.
3. MultiCLIP: 다국어 학습 모델.
부정 보정 기법 적용: SpaceVLM (Ranjbar et al., 2025) 을 적용했습니다. 이는 캡션을 긍정 및 부정 구성 요소로 분해하여 하이브리드 임베딩을 계산하는 방법 (임계값 $\tau=0.92$ ) 입니다.
평가 지표: 4 지선다 캡션 랭킹 작업에서의 Top-1 정확도 (우연 확률 = 25%).

3. 주요 결과 (Key Results)

가. 다국어 VLM 의 부정 이해 격차

CLIP: 영어 (39.3%) 에 비해 아랍어 (15.7%), 타갈로그어 (11.8%), 그리스어 (18.0%) 등 비로마자 문자 언어에서 우연 확률 (chance) 이하의 성능을 보이며 체계적인 실패를 드러냈습니다. 언어 간 최대 격차는 27.5%p 에 달했습니다.
SigLIP & MultiCLIP: 다국어 학습을 통해 격차를 줄였으나, MultiCLIP 이 가장 균일한 성능 (표준 편차 1.3%) 을 보였음에도 평균 정확도는 41.2% 로, 다국어 학습만으로는 부정 이해 문제를 완전히 해결하지 못함을 확인했습니다.

나. SpaceVLM 의 언어 유형론적 패턴

SpaceVLM 을 적용한 결과, 보정 효과는 언어의 부정 표현 방식에 따라 크게 달라졌습니다 (Table 2 참조).

긍정적 효과: 부정이 **독립된 입자 (adverbial particles)**로 표현되는 언어 (영어, 스페인어, 그리스어, 타갈로그어) 는 모든 모델에서 일관되게 큰 성능 향상 (+9.0~+38.9%p) 을 보였습니다.
- 예시: 타갈로그어는 CLIP 기준 11.8% 에서 50.7% 로 급증.
제한적/부정적 효과: 형태소적으로 복잡한 부정 (러시아어, 아랍어) 이나 의미 기능이 다른 입자 (중국어) 를 사용하는 언어는 효과가 미미하거나 오히려 성능이 저하되기도 했습니다.
- 예시: 중국어는 SigLIP 에서 31.9% → 12.4% 로 성능이 급감.

다. 견고성 (Robustness)

NegCLIP 및 ConCLIP (영어로 부정 학습된 파인튜닝 모델) 에 SpaceVLM 을 적용했을 때도 동일한 언어 유형론적 패턴이 관찰되었습니다. 이는 모델 아키텍처나 학습 데이터의 차이보다는 언어 자체의 부정 구조가 모델 행동에 결정적인 영향을 미친다는 것을 시사합니다.

4. 주요 기여 (Key Contributions)

최초의 다국어 부정 벤치마크: 7 개의 언어 유형론적 다양성을 가진 언어를 포괄하는 인간 검증 다국어 부정 벤치마크를 처음 제안했습니다.
언어 간 격차 규명: 명시적으로 다국어인 모델조차 언어 간 부정 이해 격차 (최대 27.5%p) 를 보임을 입증했습니다.
형평성 있는 배포를 위한 통찰: 부정 보정 기법 (SpaceVLM) 의 효과가 언어의 형태론적 구조 (부정 표현 방식) 와 밀접하게 연관되어 있음을 발견했습니다. 이는 "하나의 해결책이 모든 언어에 동일하게 적용되지 않는다"는 것을 보여줍니다.

5. 의의 및 시사점 (Significance)

안전 및 형평성: 의료 (방사선학 등) 와 같은 안전 필수 (safety-critical) 분야에서 "X 가 없다"와 "X 가 있다"를 구분하는 능력은 언어에 따라 불평등하게 제공될 수 있음을 경고합니다.
미래 방향성:
- 데이터: 부정 표현이 풍부한 다국어 사전 학습 데이터 구축 필요.
- 토크나이징: 다양한 형태소 체계에서 부정의 범위를 보존하는 토큰화 전략 개발 필요.
- 보정 전략: 언어 유형론적 그룹별로 보정 방법 (예: SpaceVLM 의 임계값 $\tau$ ) 을 조정하거나, 다국어 LLM 을 파인튜닝하여 긍정/부정 구성 요소를 더 정확하게 추출해야 함.
결론: 전 세계적으로 VLM 이 배포됨에 따라, 영어와 유사한 언어뿐만 아니라 다양한 언어 구조를 포착하는 벤치마크가 필수적이며, 이를 통해 모든 언어 커뮤니티에 공정한 AI 기술이 제공되어야 합니다.