💬 NLP

Evaluating Stochastic Collapse and Implicit Bias in Multimodal Large Language Models

이 논문은 멀티모달 거대 언어 모델(Multimodal Large Language Models)이 논리적으로 중립적인 시나리오에서 분포적 중립성을 유지하는 능력을 평가하기 위한 벤치마크와 일련의 지표인 RandomBench를 소개하며, 모델이 명시적으로 무작위성을 생성하도록 지시받았음에도 불구하고 강한 암묵적 편향을 보이며 균등한 무작위성을 생성하는 데 실패하는 "확률적 붕괴(Stochastic Collapse)"라고 불리는 만연한 현상을 밝혀낸다.

원저자: Huiyuan Zheng, Houtao Zhang, Boyang Wang, Qingyi Si, Hongcheng Guo

게시일 2026-06-05

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Huiyuan Zheng, Houtao Zhang, Boyang Wang, Qingyi Si, Hongcheng Guo

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 아이디어: "불공평한 동전" 문제

친구에게 동전을 던져서 **앞면(Heads)**이 나왔는지 **뒷면(Tails)**이 나왔는지 말해달라고 한다고 상상해 보세요. 만약 친구가 정말 무작위로 행동한다면, 앞면 50%, 뒷면 50%의 확률로 선택해야 합니다.

이제 여러분이 아주 똑똑한 AI(멀티모달 거대 언어 모델, MLLM)에게 똑같은 일을 시킨다고 상상해 보세요: "동전을 던져줘. 앞면인지 뒷면인지 말해봐." 여러분은 AI가 완벽하게 공정할 것이라고 기대합니다.

이 논문의 충격적인 발견: AI의 "동전"은 공정하지 않습니다. 한쪽으로 심하게 기울어져 있습니다. AI는 무작위로 행동하라는 지시를 받았음에도 불구하고, 내심 자신이 좋아하는 쪽을 가지고 있습니다. 예를 들어, 무작위로 골라야 함을 알고 있음에도 불구하고 "앞면"을 97%의 확률로 고르고 "뒷면"은 단 3%만 고를 수도 있습니다.

저자들은 이를 **"확률적 붕괴(Stochastic Collapse)"**라고 부릅니다. 이는 마치 AI의 뇌가 특정 경로에 갇혀서, 진정으로 자유롭게 선택하지 못하고 정해진 습관대로 움직이는 것과 같습니다.

도구: "RandomBench" (테스트 키친)

이를 증명하기 위해 연구진은 RandomBench라는 새로운 테스트를 구축했습니다. 이것은 "논리가 없는 구역" 또는 "중립적인 놀이터"라고 생각하면 됩니다.

목표: 정답이 없는 상황을 만드는 것입니다.
설정: 연구진은 200가지의 서로 다른 시나리오를 만들었습니다. 어떤 것은 단순한 텍스트였고(예: "A, B, C, D 중 하나를 고르세요"), 어떤 것은 그림을 포함했습니다(예: "이 네 개의 똑같이 생긴 도형 중 하나를 고르세요").
규칙: 모든 선택지는 완전히 동일했습니다. A를 B보다 골라야 할 아무런 이유가 없었습니다. 만약 AI가 진정으로 무작위였다면, 각 옵션을 25%의 확률로 골랐을 것입니다.

연구진은 7개의 최상위 AI 모델에게 이 게임을 매 시나리오마다 50번씩 수행하도록 했습니다. 즉, 총 10,000번의 "동전 던지기"를 수행한 것입니다.

발견된 사실: AI의 "비밀 습관"

결과는 AI 모델들이 테스트에서 처참하게 실패했음을 보여주었습니다. AI는 공정한 동전이 되는 대신, 항상 같은 문양만 나오는 고장 난 슬롯머신처럼 행동했습니다.

다음은 발견된 주요 "나쁜 습씨"들을 비유와 함께 설명한 것입니다.

1. "시각적 하이재킹" (큰 표식)

AI에게 그림을 보여주었을 때, 무작위성은 더 빠르게 무너졌습니다.

비유: 당신이 무작위로 문 하나를 고르라는 요청을 받았다고 상상해 보세요. 그런데 한 문에는 아주 미세하고 보이지 않는 얼룩이 있고, 나머지 문들은 깨끗합니다. 당신이 그 얼룩을 무시하라는 지시를 받았음에도 불구하고, 당신의 뇌는 자기도 모르게 그 얼룩에 끌리게 됩니다.
발견: AI는 시각적 디테일을 무시하지 못했습니다. 만약 한 옵션이 다른 것보다 약간 더 밝거나, 특정 구석에 있거나, 아주 작은 흐림 현상이 있다면, AI는 거의 매번 그 옵션을 선택했습니다. 시각적 단서가 "무작위로 행동하라"는 지시를 "하이재킹(납치)"해 버린 것입니다.

2. "위치 편향" (가운데 좌석)

비유: 네 개의 빈 의자가 놓여 있는 줄을 상상해 보세요. 당신은 무작위로 한 자리에 앉으라는 요청을 받았습니다. 인간은 "안전"하거나 "중앙"이라는 느낌 때문에 가운데 자리를 고를 수도 있습니다.
발견: AI는 특정 위치에 대한 강한 선호도를 보였습니다. AI는 중앙, 상단, 또는 오른쪽을 좋아했습니다. 심지어 옵션이 그냥 네 개의 빈 사각형일지라도, AI는 오른쪽 상단을 90%의 확률로 선택했습니다.

3. "언어 전환" (억양 효과)

비유: 어떤 사람에게 영어로 무작위 숫자를 하나 골라달라고 했더니 "7"을 골랐다고 해봅시다. 그다음 똑같은 사람에게 프랑스어로 무작위 숫자를 골라달라고 했더니 갑자기 "3"을 고르는 상황을 상상해 보세요.
발견: AI의 "최애" 선택지는 사용된 언어에 따라 달라졌습니다. 똑같은 시각적 이미지를 보여주더라도, 지시 사항이 중국어냐 영어냐에 따라 완전히 다른 "무작위" 선택이 나타났습니다. 이는 AI의 편향이 학습된 언어와 깊게 결합되어 있음을 증명합니다.

4. "강할수록 나쁘다"의 역설

비유: 여러분은 더 똑똑하고 말을 잘 듣는 로봇일수록 "무작위로 행동하라"는 규칙을 더 잘 따를 것이라고 생각할지도 모릅니다.
발견: 놀랍게도, 더 똑똑하고 "정렬(Alignment)"이 잘 된 모델(지시를 매우 잘 따르는 모델)이 오히려 무작위성을 유지하는 데 더 서툴렀습니다. 이 모델들은 자신의 선택을 정당화할 패턴을 찾아내는 데 너무 능숙한 나머지, 단 하나의 옵션에 고착되어 버렸습니다. 심지어 논리가 전혀 없는 상황임에도 불구하고, 왜 그것을 골랐는지에 대해 논리적으로 들리는 핑계를 만들어내기도 했습니다.

왜 이런 일이 발생하는가? ("시스템 1"의 오류)

이 논문은 심리학의 이중 프로세스 이론(Dual Process Theory) 개념을 사용합니다.

시스템 2: 느리고 논리적인 사고 (수학 문제를 푸는 것과 같음).
시스템 1: 빠르고 직관적인 사고 (반사 신경과 같은 직감적인 생각).

대부분의 AI 벤치마크는 시스템 2(이 퍼즐을 풀 수 있는가?)를 테스트합니다. 하지만 이 논문은 시스템 1(퍼즐이 없는 상황에서 당신의 직감은 무엇인가?)을 테스트했습니다.

연구진은 AI가 "논리의 진공 상태"(어떤 옵션도 더 낫지 않은 상황)에 놓였을 때, 시스템 1이 주도권을 잡는다는 것을 발견했습니다. AI는 동전을 던히는 대신, 자신의 학습 데이터로 되돌아갑니다. AI는 자신의 학습 서적에 가장 자주 등장했던 옵션이나, 자신의 내부 코드에서 가장 "익숙하게" 느껴지는 옵션을 선택합니다. 이것은 선택을 하는 것이 아니라, 숨겨진 저항이 가장 적은 경로를 따라가는 것뿐입니다.

결론

이 논문은 현재의 AI 모델들이 진정으로 무작위가 아니다라고 결론짓습니다. 우리가 무작위로 행동하라고 명령하더라도, AI는 다음과 같은 요소들에 기반한 깊고 보이지 않는 편향을 가지고 있습니다:

물체가 화면의 어디에 위치해 있는지.
물체가 어떻게 생겼는지 (아주 미세한 디테일까지도).
질문에 사용된 언어.
사용된 특정 기호들 (그리스 문자나 도형 등).

이는 중요한 문제입니다. 만약 AI가 공정한 결정(예: 제품 추천이나 경로 선택)을 내려야 하는데, 내심 자신만의 "선호"를 가지고 있다면, 겉으로는 선택을 하는 것처럼 보일지라도 실제로는 숨겨진 대본을 따르고 있는 것일 수 있기 때문입니다. AI가 던지는 "동전"은 근본적으로 고장 나 있습니다.

기술 요약: 멀티모달 거대 언어 모델(MLLM)의 확률적 붕괴 및 암묵적 편향 평가

1. 문제 정의

현재 멀티모달 거대 언어 모델(MLLM)에 대한 평가는 주로 논리적 추론 및 과업 완수와 같은 유틸리티 중심의 목적에 집중되어 있으며, **논리 중립적 시나리오(logic-neutral scenarios)**에서의 모델 동작은 거의 탐구되지 않은 상태로 남아 있다. 인간의 인지 과정에서, 논리적 우위가 없는 완벽하게 동등한 선택지에 직면했을 때, 개인은 직관적으로 "동전 던지기"를 통해 결정 교착 상태를 해소한다. 그러나 예비 조사 결과, MLLM은 이러한 행동을 재현하는 데 실패하며, 명시적으로 무작위 선택을 지시받더라도 이들의 "동전"은 근본적으로 불균형하며 매우 비균일한 확률 분포를 보이는 것으로 나타났다.

이러한 실패는 MLLM이 자율 에이전트로 진화함에 따라 매우 치명적이다. 다단계 계획 수립이나 상업적 추천 시스템에서 진정한 확률성(stochasticity)이 결여되면, 반복적인 궤적, 붕괴된 사용자 경험, 그리고 실행 가능한 대안들에 대한 불공정한 커버리지 문제가 발생할 수 있다. 기존의 편향 연구가 명시적인 사회적 고정관념이나 교차 모달 정렬 실패를 다루는 것과 달리, 순수한 무작위 선택 설정에서의 **내재적이고 트리거가 없는 행동적 편향(endogenous, trigger-free behavioral biases)**을 체계적으로 정량화하는 것은 아직 미개척 영역으로 남아 있다.

2. 방법론: RandomBench

이러한 간극을 메우기 위해, 저자들은 절대적 의미론적 동등성 하에서의 모델 행동을 정량화하기 위해 설계된 벤치마크인 RandomBench를 소개한다. 이 프레임워크는 **논리 중립성 원칙(Logic-Neutrality Principle)**을 기반으로 구축되었으며, 여기서 모든 후보 옵션은 의미론적으로 동일하고 과업 목적과 논리적으로 무관하여, 의도적인 추론(System 2)의 도움 없이 모델을 확률적 결정 체제로 강제한다.

데이터셋 구축

RandomBench는 두 가지 모달리티로 나뉜 200개의 인스턴스로 구성된다:

RB-Text (100개 인스턴스): 네 가지 차원에 걸친 언어적 사전 지식(priors)을 평가한다:
- 추상적 기호 및 숫자: 토큰 및 수치적 사전 지식 (예: 동전 던지기, 주사위 굴리기).
- 언어적 및 기능적 선택: 동의어 지시문을 사용한 합리적 교착 상태.
- 공간 및 지각: 공간 방향 및 좌표에 관한 내재화된 세계 모델.
- 정서적 및 사회적 정체성: 모호한 맥락에서의 상식 및 라이프스타일 사전 지식.
RB-Vision (100개 인스턴스): 시각적 특징이 교차 모달 상호작용을 통해 어떻게 확률적 행동을 재구성하는지 조사한다:
- 지각적 돌출성(Perceptual Saliency): 기하학적 패턴, 색상 및 재질에 대한 민감도.
- 공간적 배치: 표준화된 행렬(예: 2x2 그리드)에서의 위치 편향.
- 정서적 및 사회적 정체성: 사회적 순응을 유도하는 시각적 단서.
- 교차 모달 하이재킹(Cross-Modal Hijacking): 시각적 특징이 텍스트 지시와 충돌하는 스트룹(Stroop) 유사 갈등.

파이프라인은 수동 구축, 민감한 콘텐츠 제거를 위한 엄격한 논리 중립 필터링, 하이브리드 시각 자극 생성(코드 기반 렌더링 및 픽셀 수준 표준화를 갖춘 AI 보조 생성), 그리고 인지 과학 연구자에 의한 다회차 전문가 검토 과정을 포함한다.

평가 지표

이상적인 균등 분포( $P_{gt}(o_i) = 1/K$ )로부터의 편차를 정량화하기 위해, 저자들은 정보 엔트로피 이론에 기반한 세 가지 지표를 제안한다:

무작위성 지수 (Randomness Index, RI): 분포적 불확실성을 측정하는 정규화된 샤논 엔트로피(Shannon entropy). 높은 RI는 균일성을, 낮은 RI는 붕괴를 나타낸다.
편향 강도 지수 (Bias Intensity Index, BII): 경험적 분포와 이상적인 균등 분포 사이의 쿨백-라이블러(KL) 발산으로, 잠재적 사전 지식에 의한 "하이재킹 힘"의 크기를 측정한다.
편향 일관성 지수 (Bias Consistency Index, BCI): 무작위 베이스라인 대비 최대 경험 확률의 잔차(residual)를 포착하여, 특정 옵션에 대한 "선택적 지속성(selectional persistence)" 또는 고집을 측정한다.

실험 설정

본 연구는 영어와 중국어 전반에 걸쳐 7개의 최첨단 MLLM(GPT 5.1, Gemini 3.1 Flash-Lite, Claude Sonnet 4.6, Kimi K2.5, Qwen 3.6 Plus, Grok 4 Fast, Doubao Seed 1.6)을 평가한다. 각 인스턴스는 디코딩 온도 $T=1.0$ 에서 50회의 반복 샘플링 시행을 거친다. 결정적으로, "System 1" 휴리스틱을 격리하기 위해 명시적인 연쇄 사고(Chain-of-Thought, CoT) 추론은 억제된다.

3. 주요 결과

확률적 붕괴 (Stochastic Collapse)

실험 결과, 확률적 붕괴라고 명명된 만연한 현상이 드러났다. 명시적인 무작위 지시 하에서도 MLLM은 균일한 무작위성을 유지하지 못한다. 대신, 이들은 확률 질량을 소수의 선택지에 집중시킨다.

심각성: 일부 사례(예: Claude Sonnet 4.6)에서는 이상적인 25% 베이스라인에서 Top-1 확률이 **97%**에 달하며, RI는 0.068까지 떨어진다.
능력의 역설 (Paradox of Capability): 추론 능력이 더 뛰어나고 지시 정렬(instruction alignment)이 잘 된 모델일수록 오히려 더 심각한 확률적 붕괴를 보이는 경향이 있다. 이는 모델이 내부 일관성을 최적화함에 따라, 편향된 선택에 대해 유창한 사후 합리화를 생성하는 "동기화된 추론(motivated reasoning)"을 견고하게 내재화함을 시사한다.

시각적 하이재킹 (Visual Hijacking)

멀티모달 도메인(RB-Vision)에서는 텍스트 전용 설정보다 확률적 저하가 훨씬 더 심각하게 나타난다. 시각적 앵커(돌출성, 공간적 위치, 기하학적 복잡성)는 무작위 선택을 하라는 텍스트 지시를 일관되적으로 압도한다. 이러한 "시각적 하이재킹"은 시각적 인코딩 레이어가 의도된 확률적 체제를 효과적으로 지배할 수 있음을 입증한다.

교차 언어 및 기호 강건성

언어 의존성: 암묵적 편향은 순수하게 시각에만 의존하는 것이 아니라 언어적 맥락에 의해 조절된다. 언어를 전환(예: 영어에서 중국어로)하면 상당한 결정 매니폴드 재구성 및 선호도 반전이 유도되는 경우가 많다.
기호 민감도: 표준 라벨(A, B, C, D)을 기하학적 도형, 그리스 문자 또는 무작위 해시로 교체해도 균일성을 회복하는 데 실패한다. 대신, 모델은 새로운 토큰 사전 지식(예: 특정 기하학적 도형 또는 $\gamma$ 와 같은 그리스 문자)으로 붕괴되며, 이는 비표준 기호가 원시적인 휴리스틱 앵커 역할을 함을 나타낸다.

4. 핵심 기여

유틸리티 중립적 무작위 선택: 본 논문은 전통적인 논리 추론 벤치마크를 넘어, 의미론적 동등성 하에서 MLLM의 내재적 행동 편향을 평가하기 위한 새로운 진단 설정을 확립한다.
RandomBench: 반복 샘집 프로토콜과 엔트로피 기반 지표(RI, BCI, BII)를 특징으로 하며, 특히 비균일한 무작위 선택 행동을 정량화하도록 설계된 멀티모달 벤치마크를 제시한다.
확률적 붕괴: 옵션 간에 논리적 우위가 없음에도 불구하고 MLLM이 안정적이고 편향되며 합리화된 선호도를 보이는 체계적인 실패 모드를 식별하였다. 여기에는 시각적 하이재킹과 능력-일관성 역설의 발견이 포함된다.

5. 의의 및 주장

본 논문은 확률적 붕괴가 단순히 약한 모델이나 표면적인 포맷팅의 증상이 아니라, 사전 학습된 토큰 빈도 사전 지식과 과잉 정렬(over-alignment)에 의해 파라미터 매니폴드에 각인된 구조적 취약점이라고 주장한다.

인지적 중립성: 연구 결과는 MLLM이 진정한 인지적 중립성을 달성할 수 있다는 가설에 도전한다. 추론이 불필요한 상황에서도 결정은 여전히 체계적으로 편향되고, 과도하게 확신하며, 분포적으로 붕괴되어 있다.
리스크 함의: 저자들은 이 현상의 가장 치명적인 위험은 합리적 의사결정의 환상이라고 강조한다. 고도의 위험이 따르는 모호한 현실 세계(예: 자율 주행, 의료 진단)에서 MLLM은 사후 합리화로 위장된, 근본적으로 편향되었으나 매우 확신에 찬 선택을 생성할 수 있으며, 이는 감지할 수 없는 시스템적 편향을 파멸적인 실패로 증폭시킬 수 있다.
향าท 방향: 본 연구는 향후 완화 전략을 위한 토대를 마련하며, 이러한 편향을 해결하기 위해서는 표면적인 프롬프트 수정 이상의 조치가 필요함을 시사한다. 즉, 사전 학습된 토큰 빈도 사전 지식 및 임베딩 매니폴드 회귀 수준에서의 개입이 요구된다.

저자들은 모호한 의사결정에서 진정한 인지적 중립성을 달하는 것은 네트워크의 물리적 토폴로지에 영구적으로 각인된 데이터 기반 휴리스틱 선호도를 해결하는 문제라고 결론짓는다.