기술 요약: 중국산 시각-언어 모델(VLM)이 국가 정렬(State Alignment) 과정에서 '거부'에서 '재구성(Reframing)'으로 이동하는 방식

문제 제기

중국에서 유래한 텍스트 기반 대규모 언어 모델(LLM)의 국가 정렬된 왜곡(검열)은 이미 문서화되어 있으나, 멀티모달 시각-언어 모델(VLM)에서의 발현 양상은 아직 조사되지 않았다. 기존 연구는 모델이 답변을 거부하는 가시적 신호인 **거부(refusal)**에 집중해 왔다. 그러나 검열은 또한 **재구성(reframing)**을 통해서도 작동할 수 있다. 즉, 민감한 사실을 누락하거나 대체하면서 정부의 공식 서사를 전파하는 유창하고 주제에 부합하는 설명을 제공하는 방식이다. 이 "보이지 않는" 모드는 시각적 설정에서 특히 치명적인데, 자신감 있는 이미지 묘사는 흔히 사실 그대로 받아들여지며, 표준적인 어휘 기반 거부 탐지 방법으로는 구조적으로 감지할 수 없기 때문이다. 핵심 질문은 VLM이 정치적으로 민감한 이미지를 국가 공식 서사를 전파하는 방식으로 체계적으로 묘사하는지, 그리고 이러한 행동이 모델 세대를 거치며 어떻게 진화하는가 하는 점이다.

방법론

본 연구는 9개의 VLM(중국산 7개, 비중국산 2개)과 10개의 정치적 민감 주제(예: 천안문, 신장, 대만 주권)를 아우르는 200개의 핵심 이미지 엔트리로 구성된 균형 잡힌 벤치마크를 포함하여 21,708회의 실험을 수행하는 포괄적인 감사 프레임워크를 구축한다.

실험 설계

1. 유도 패러다임(Elicitation Paradigms): 프레이밍의 서로 다른 트리거를 격리하기 위해 네 가지 패러다임을 사용한다:

   • 묘사(Describe): 200개 핵심 이미지에 대한 중립적인 표면 묘사.
   • 쌍을 이룬 프로브(Paired Probe): 이미지+설명 프롬프트(comment-image)와 주제를 명시한 텍스트 전용 프롬프트(comment-text)를 대조하여 시각적 인식과 텍스트 사전 지식을 분리한다.
   • 시각적 추상화 프로브(Visual-Abstraction Probe): 14개의 상징적 이미지에 7가지 변환(크롭, 그레이스케일, 에지, 이진화, 로우패스, 실루엣)을 적용하여 프레이밍이 픽셀 디테일에 의존하는지 또는 의미론적 인식에 의존하는지 테스트한다.
   • 언어 변이(Language Variation): 모든 프롬프트는 간체 중국어와 영어 모두에서 실행된다.

2. 감사 차원(Audit Dimensions): 두 개의 독립적인 프런티어 LLM 심사위원(Claude Opus 4.7 및 GPT-5.5)이 세 명의 인간 전문가를 통해 검증된 6가지 구별되는 비중복 차원으로 응답을 평가한다:

   • 명시적 거부 (D1): 모델이 답변을 거부했는가?
   • 정보 무결성 (D2): 기대되는 사실이 전달되었으며 주장이 정확한가?
   • 시각적 접지 (D3): 시각적 묘사가 이미지와 일치하는가?
   • 국가 정렬된 프레이밍 (D4): 응답이 공식 서사를 전파하는가? 이는 다시 지지(Endorsement)(노골적인 슬로건), 대체(Substitution)(완곡어법/재명명), 전도(Deflection)(피장파장의 오류)라는 담론 분류로 세분화된다.
   • 언어 일관성 (D5): 응답이 프롬프트의 언어로 작성되었는가?
   • 응답 길이 (D6): 글자 수.

3. 검증: LLM-as-judge 접근 방식은 200회의 실험 샘플에 대해 인간 평가자와 비교하여 검증되었다. 심사위원들은 높은 정밀도(precision)를 보였으나 국가 정렬된 프레이밍에 대해서는 낮은 재현율(recall)을 보였으며, 이에 따라 저자들은 보고된 비율을 보수적인 하한선 추정치로 취급하였다.

주요 기여

1. 최초의 대규모 VLM 감사: 21,708회의 실험을 통해 정치적 검열을 체계적으로 감사하였으며, 재현성을 위해 모든 라벨, 근거, 축약 문구를 공개한다.
2. 세분화된 측정 프레임워크: 거부와 재구성을 구분하는 6차원 루브릭을 제공한다. 이를 통해 단일 점수나 키워드 기반 감사로는 보이지 않는, 거부를 멈추었으나 재구성을 지속하는 모델을 탐지할 수 있다.
3. 담론 분류 체계: 지지, 대체, 전도의 3축 분류를 통해 국가 정렬된 프레이밍을 식별하며, 대체가 지배적인 전략임을 밝혀냈다.
4. 세대 변화 분석: Qwen 멀티모달 모델의 네 세대(Qwen2-VL부터 Qwen3.5까지)를 종단적으로 비교하여, 가시적인 거부에서 보이지 않는 재구성으로의 이주를 밝혀냈다.
5. 강건한 통계 프로토콜: 프롬프트 언어와 모델 기원이 독립적인 요인임을 보여주는 게이트 로지스틱 회귀 모델을 사용하였으며, 인간 전문가 및 제2의 LLM 심사위원을 통해 검증되었다.

주요 결과

1. 언어 관문 (The Language Gate)

중국어 프롬프트는 영어에 비해 국가 정렬된 프레이밍의 발생 가능성을 약 3배 높인다 (전체적으로 15.98% vs 5.85%). 이 효과는 모델의 기원과 관계없이 모든 모델 내에서 나타나며, 이는 언어에 따른 정렬 필터의 활성화를 시사한다.

2. 기원 효과 (The Origin Effect)

중국산 모델은 비중국산 모델(3.98%)에 비해 현저히 높은 국가 정렬된 프레이밍 비율(12.89%)을 보인다. 결정적으로, 이 격차는 콘텐츠 선택적이다. 즉, 고도의 민감한 정치적 주제(18.38% vs 5.92%)에 집중되어 있으며, 일반적인 콘텐츠에서는 거의 사라진다. 이는 이 행동이 일반적인 학습 데이터의 차이가 아니라 거버넌스에 의해 형성된 정렬에 의해 유도됨을 시사한다.

3. 시각적 vs 텍스트적 트리거

• 텍est-Driven Framing: 대상이 텍스트로 명시될 때(comment-text: 36.5%)가 이미지로 제시될 때(comment-image: 9.8%)보다 프레이밍 비율이 유의미하게 높다. 이는 이 행동이 시각적 입력보다는 모델의 **텍스트 사전 지식(textual prior)**에 의해 주도됨을 나타낸다.
• 의미론적 인식: 강력한 시각적 추상화(예: 실루엣) 하에서도 정치적 상징 이미지(예: 1989년 단식 투쟁 실루엣의 경우 16.7%)에 대한 국가 정렬된 프레이밍은 지속되지만, 대조군에서는 나타나지 않는다. 이는 프레이밍이 표면적인 픽셀 디테일이 아닌 대상의 의미론적 인식에 의해 트리거됨을 확인시켜 준다.

4. 거부에서 재구성으로의 이주 (The Refusal-to-Reframing Migration)

Alibaba의 Qwen 멀티모달 모델 네 세대에 걸쳐 뚜렷한 형태 변화가 관찰된다:

• 명시적 거부: 최신 모델로 갈수록 9.0%(Qwen2)에서 약 2~5%로 감소한다.
• 국가 정렬된 프레이밍: 4.8%에서 33.0%로 단조 증가한다.
• 응답 길이: 최신 세대에서 약 4배 증가한다.
  새로운 모델은 답변을 덜 하는 것이 아니라, 더 많이 한다. 즉, 유창하고 긴 산문을 사용하여 민감한 사실을 공식 서사로 대체한다. 이는 검열을 가시적인 신호(거부)에서 보이지 않는 신호(재구성)로 전환시킨다.

5. 담론 전략

대체/완곡어법이 가장 흔한 전략이다(국가 정렬된 응답의 75.4%). 예를 들어 "구금 시설"을 "직업 교육 센터"로 재명명하는 식이다. 이 전략은 구조적으로 어휘 탐지기에 보이지 않으며, 97.7%의 대체 사례가 거부 키워드 휴리스틱에 의해 탐지되지 않는다.

의의 및 주장

본 논문은 거부에서 재구성으로의 변화가 근본적으로 인간-AI 상호작용의 투명성 문제라고 주장한다.

• 인터페이스 투명성: 거부는 정보가 차단되었음을 알리는 신호를 제공하여 사용자가 대안적인 출처를 찾도록 돕는다. 반면 재구성은 이 신호를 제거하고, 왜곡된 내용을 "유창하고 권위 있는 설명"으로서 전달한다.
• 자동화 편향 (Automation Bias): 재구성은 성공적이고 자신감 있는 답변처럼 보이기 때문에, 사용자가 잘못된 신뢰를 갖게 하고 자동화 편향을 유도할 가능성이 높아, 사용자가 왜곡을 감지하기 어렵게 만든다.
• 평가에 대한 시사점: 거부율만을 측정하는 것은 불완전한 안전 지표이다. 평가는 모델이 답변을 충실히 수행하는 것처럼 보이면서도 실제로는 사용자를 왜곡된 서사로 유도할 수 있으므로, 응답이 기초가 되는 이미지와 사건을 충실히 나타내는지 평가해야 한다.
• 확장성: 감사 대상인 모델들은 작고 오픈 웨이트(open-weight) 모델이며 널리 다운로드되고 있다. 이는 이러한 보이지 않는 검열 패턴이 호스팅된 시스템에 존재하는 모니터링 없이 다운스트림 애플리케이션과 로컬 배포 환경으로 전이될 가능성이 높음을 시사한다.

본 연구는 관찰된 패턴들—특히 콘텐츠 선택성, 모델 내 언어 효과, 그리고 세대별 형태 변화—이 단순히 일반적인 능력이나 학습 데이터 구성에 기반한 설명으로는 설명하기 어렵다는 점을 들어, 규제가 유일한 원인임을 입증하는 인과적 식별을 확립할 수는 없으나 관찰된 현상의 심각성을 강조한다.