💬 NLP

Vision-Language Models Suppress Female Representations Under Ambiguous Input

이 논문은 시각-언어 모델이 모호한 이미지에 대해 내부적으로는 여성 연관성을 인코딩하는 경우가 많음에도 불구하고, 생성 과정에서 남성 신호를 증폭시키고 여성 신호를 억제하는 비대칭적 필터링 메커니즘으로 인해 출력값은 체계적으로 남성 표현을 기본값으로 설정한다는 사실을 밝혀낸다.

원저자: Arnau Marin-Llobet, Simon Henniger, Mahzarin R. Banaji

게시일 2026-06-01

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Arnau Marin-Llobet, Simon Henniger, Mahzarin R. Banaji

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 아이디어: "예의 바른" 로봇 vs. "편향된" 뇌

당신에게 매우 예의 바르고, 사람에 대해 선입견을 갖지 않도록 훈련받은 로봇 비서가 있다고 상상해 보세요. 만약 로봇에게 드레스를 입은 사람의 사진을 보여주면, 로봇은 "여성입니다"라고 말합니다. 정장을 입은 사람을 보여주면 "남성입니다"라고 말하죠. 이 로봇은 '예의 테스트'를 완벽하게 통과합니다.

하지만 이 논문은 까다로운 질문을 던집니다: 로봇이 사람의 얼굴이나 성별을 명확히 볼 수 없을 때는 어떻게 될까요? (예를 들어, 헬멧을 쓰고 뒤돌아 있는 건설 노동자나, 뒷모습만 보이는 간호사의 경우)

연구진은 로봇의 입(최종 답변)은 예의 바르고 중립적인 상태를 유지하지만, 로 로봇의 뇌(내부 사고 과정)는 사실 매우 구체적이고 편향된 추측을 하고 있다는 사실을 발견했습니다. 바로 "이 사람은 남성일 것"이라고 가정하는 것입니다.

심지어 통계적으로 여성이 주로 종사하는 직업(베이비시터나 플로리스트 등)에 대해서도, 로봇은 추측해야 하는 상황이 오면 "남성"이라고 답합니다. 무서운 점은 무엇일까요? 로봇은 그 직업이 주로 여성의 직업이라는 것을 알고 있음에도 불구하고, 그 지식을 무시하고 강제로 "남성"이라는 답변을 내놓는다는 것입니다.

도구: "LALS" (생각을 보는 X-레이)

로봇이 말을 내뱉지 않을 때, 도대체 무슨 생각을 하고 있는지 어떻게 알 수 있을까요? 저자들은 LALS(Latent Association Leaning Score)라는 도구를 발명했습니다.

LALS를 로봇의 뇌를 찍는 X-레이라고 생각해보세요.

보통 우리는 로봇의 최종 문장(출력값)만을 볼 수 있습니다.
LALS를 사용하면 로봇이 생각하는 매 단계마다 그 내부의 "뉴런"을 들여다볼 수 있습니다.
이는 로봇의 내부 전기 신호를 단어로 번역하여, 특정 순간에 로봇이 "여성", "남성", 또는 "중립"을 생각하고 있는지 보여줍니다.

세 가지 직업 유형

연구진이 15가지 서로 다른 직업을 가진 "얼굴 없는" 이미지로 테스트했을 때, 세 가지 뚜렷한 패턴을 발견했습니다.

"동의하는" 남성 (예: 소방관):
- 뇌 내부: 로봇은 "남성"이라고 생각합니다.
- 답변: "남성"이라고 말합니다.
- 결론: 놀라운 일이 아닙니다. 편향이 일관되게 나타납니다.
"동의하는" 여성 (예: 메이크업 아티스트):
- 뇌 내부: 로봇은 "여성"이라고 생각합니다.
- 답변: "여성"이라고 말합니다.
- 결론: 이 또한 일관적입니다.
"괴리" 구간 (예: 플로리스트, 간호사, 베이비시터):
- 뇌 내부: 로봇은 실제로 **"여성"**이라고 생각합니다. (해당 직업을 여성과 올바르게 연관 짓습니다.)
- 답변: 하지만 **"남성"**이라고 말합니다.
- 결론: 이것이 숨겨진 편향입니다. 로봇의 내부 생각은 "여성"이지만, 마지막 단계에서 무언가가 스위치를 올려 "남성"으로 바꿔버립니다.

"비대칭 필터": 일방통행로

연구진은 왜 이런 반전이 일어나는지 알아냈습니다. 그들은 로봇의 생각을 층별로(마치 마천루의 층을 확인하듯) 추적했습니다.

남성 신호: "남성!"이라고 크게 외치는 아주 크고 강력한 목소리를 상상해 보세요. 이 목소리는 아래층에서 시작하여 위로 올라갈수록 점점 더 커집니다. 꼭대기 층(답변이 나오는 곳)에 도달할 때쯤이면 이 목소리는 매우 강력해집니다.
여성 신호: "여성!"이라고 외치는 다른 목소리를 상상해 보세요. 이 목소리는 처음에 강하게 시작하여 건물 중간층까지는 더 커지지만, 꼭대기 층에 다다르면 방음벽에 부딪힙니다. 꼭대기 층에 도달할 때쯤 이 목소리는 침묵하거나 속삭임으로 변해 버립니다.

로봇은 비대칭 필터를 가지고 있습니다. "남성"이라는 아이디어는 끝까지 통과시키지만, 말을 하기 직전에 "여성"이라는 아이디어는 적극적으로 억제합니다.

"핑크 vs 블루"의 단서

로봇이 단순히 무작위로 추측하는 것이 아니라 실제로 사진을 보고 있다는 것을 증명하기 위해, 연구진은 색상을 이용한 트릭을 썼습니다.

파란색 스크럽을 입은 간호사 사진을 보여주었습니다. 로봇의 내부 "남성" 신호는 강했습니다.
똑같은 사진의 색상만 핑크색으로 바꿨습니다.
결과: 로봇의 내부 "남성" 신호는 크게 떨어졌고, "여성" 신호는 더 강해졌습니다.

이는 로봇이 단순히 맹목적으로 "남성"이라고 찍는 것이 아님을 증명합니다. 로봇은 문화적 신호에 반응하고 있습니다. 로봇은 세상에서 핑크색은 종종 "여성"을 의미하고, 파란색은 "남성"을 의미한다는 것을 학습했습니다. 시각적 신호(핑크색)가 강력할 때 로봇의 내부 편향은 변화합니다. 하지만 이 강력한 신호가 없으면, 로봇은 기본값인 "남성"으로 돌아갑니다.

근본 원인: 단순한 "학습"의 문제가 아니다

연구진은 이 편향이 로봇에게 "안전하게" 행동하도록 가르쳐진 것인지(이를 '정렬'이라고 합니다) 확인했습니다. 그들은 로봇이 예의 바르도록 배우기 전과 후를 비교했습니다.

발견된 사실: 이 편향은 로봇이 예의 바르게 배우기 전부터 이미 존재했습니다.
결론: "예의 바른 훈련"은 편향을 고친 것이 아니라, 단지 로봇이 그것을 숨기는 법을 가르친 것이었습니다. 로봇은 안전하게 대답하기 위해 "모르겠습니다" 혹은 "남성"이라고 말하는 법을 배웠지만, 로봇의 내부 뇌는 여전히 오래된 편향된 연관성을 간직하고 있습니다.

요약

이 논문은 시각-언어 모델(Vision-Language Models)이 이중적인 생활을 하고 있음을 밝혀냅니다.

공적으로는: 중립적이고 신중합니다.
사적으로는: 명확히 보이지 않을 때, 자신의 내부 논리가 해당 인물이 여성임을 시사하더라도 기본적으로 남성이라고 가정합니다.

"남성 기본값(Male Default)"은 단순한 오류가 아닙니다. 그것은 로봇이 공정해지라는 명령을 받아도 사라지지 않는, 뇌 속에 깊이 자리 잡은 습관입니다. 로봇은 진실(그 사람이 여성일 수 있다는 것)을 알고 있지만, 말을 하기 전에 그 진실을 걸러내 버립니다.

기술 요약: 시각-언어 모델은 모호한 입력 하에서 여성 표상을 억제한다

문제 제기
현대의 시각-언어 모델(VLM)은 성별이 시각적으로 명시적인 경우 데모그래픽 편향을 표현하지 않도록 정렬(alignment)되어 있지만, 모호한 입력(예: 뒤돌아 있는 모습, 가려진 얼굴, 또는 전체 보호 장구를 착용한 모습)에 대해서는 여전히 상당한 격차가 존재합니다. 표준적인 출력 수준의 감사(auditing)는 이러한 모델들이 중립적임을 시사하며, 흔히 성별 부여를 거부하거나 "사람(a person)"이라는 기본값으로 회귀합니다. 그러나 본 논문은 이러한 출력의 중립성이 지속적인 내부 편향을 은폐할 수 있다고 주장합니다. 구체적으로, 저자들은 시각적 단서가 성별을 판단하기에 불충분할 때, VLM이 최종 텍스트 출력과는 다른 성별 연관성을 내부적으로 인코딩하고 있는지 조사합니다.

방법론
내부 표상을 탐색하기 위해, 저자들은 출력 생성에 의존하지 않고 개별 시각 토큰과 네트워크 레이어의 입도(granularity)에서 개념 연관성을 측정하도록 설계된 제로샷 메트릭인 **LALS(Latent Association Leaning Score)**를 도입합니다.

LALS 메커니즘: 이 방법은 LatentLens 절차를 사용하여 임의의 레이어 $\ell$ 에서 추출된 시각 토큰의 은닉 상태(hidden states)를 모델의 텍스트 임베딩 공간으로 투영합니다. 이 투영된 벡터를 성별 관련 용어(예: "man", "father" 대 "woman", "mother")의 균형 잡힌 참조 코퍼스와 비교함으로써, LALS는 각 토큰에 대해 $[-1, +1]$ 사이의 연속적인 점수를 계산합니다.
집계(Aggregation): 이미지 레벨의 점수는 가장 강한 신호 크기를 가진 상위 5%의 토큰을 집계하여 도출됩니다.
실험 설정: 연구는 4개의 오픈 웨이트 VLM(Qwen2-VL, Qwen2.5-VL, LLaVA-v1.6, InternVL2.5)을 15가지 직업군(남성 스테레오타입, 여성 스테레오타입, 중립 직업)을 포함하는 800개 이상의 성별 모호 이미지 데이터셋을 통해 평가합니다.
비교 분석: 저자들은 LALS 내부 점수를 두 가지 프롬프팅 조건(개방형 묘사 및 강제 선택(FC) 성별 추측) 하에서 생성된 모델 출력과 비교합니다. 또한 색상 조작(예: 의복 색상을 파란색에서 분홍색으로 변경)에 대한 절제 연구(ablation studies)와 베이스 모델 및 인스트럭션 튜닝된 모델 간의 비교를 수행합니다.

주요 기여 및 결과

내부 표상과 출력의 디커플링(Decoupling):
본 연구는 모델이 특정 직업에 대해 내부적으로는 여성 연관성을 인코딩하지만, 강제 선택 프롬프팅 하에서는 남성 기본값을 출력하는 체계적인 괴리를 식별했습니다. 이러한 "괴리 레짐(divergence regime)"에는 꽃집 주인, 유치원 교사, 보육교사와 같은 직업이 포함됩니다. 개방형 프롬프트는 중립적인 응답을 생성하지만, 강제 선택 프별 프롬프트는 모델이 강력한 여성 스테레오타입 역할(예: 간호사, 미용사)에 대해서도 내부 신호가 그러함에도 불구하고 남성으로 기본 설정되는 "남성 모드 붕괴(male-mode collapse)"를 유발합니다.
비대칭 필터링 메커니즘:
LALS 점수에 대한 레이어별 분석은 네트워크 아키텍처 내의 비대칭 필터를 드러냅니다:
- 남성 신호: 초기 레이어에서 후기 레이어로 갈수록 증폭되거나 안정적으로 유지되며, 네트워크를 엔드투엔드로 통과합니다.
- 여성 신호: 중기에서 후기 레이어에서 정점을 찍지만, 최종 생성 레이어에 도달하기 전 체계적으로 억제되거나 0 또는 음수(남성 영역)로 붕괴됩니다.
  이러한 억제 현상은 왜 모호한 입력에 대해 여성 관련 내부 표상이 최종 출력에 나타나지 않는지를 설명합니다.
문화적으로 로드된 시각적 단서의 영향:
색상 절제 실험은 내부 연관성이 특정 시각적 단서에 의해 조절됨을 보여줍니다. 건설 노동자의 모자나 간호사의 스크럽(scrubs) 색상을 파란색에서 분홍색으로 변경하면 내부 남성 신호가 감소하거나, 반대로 여성 신호가 증가합니다. 이는 모델이 훈련 데이터에 존재하는 문화적 성별-색상 연관성을 내재화했음을 시사합니다.
편향의 기원:
이 비대칭 필터링은 인스트럭션 튜닝(RLHF)의 산물이 아닙니다. 베이스 모델과 인스트럭션 튜닝된 모델 간의 비교는 여성 신호의 억제가 베이스 모델에도 존재하며, 정렬(alignment)에 의해 생성된 것이 아니라 정렬에 의해 증폭된 것임을 보여줍니다. 또한, 이 편향은 시각적 경로(visual pathway)에서 기인합니다. 동일한 직업에 대한 텍st 전용 프롬프트는 후기 레이어에서 여성 신호 증폭을 보이는데, 이는 시각적 경로의 붕괴와는 반대되는 현상입니다.

의의 및 주장
본 논문은 출력 수준의 감사가 특히 고위험 시나리오(예: 감시, 보조 도구)를 포함한 모호한 입력 상황에서 VLM의 공정성을 평가하기에 불충분하다고 주장합니다. 저자들은 다음과 같이 주장합니다:

정렬은 편향을 제거하는 것이 아니라 은폐한다: 모델은 편향된 내부 표상을 제거하는 것이 아니라, 그 표상의 표현을 억제하는 법을 배웁니다.
내부 표상은 다운스트림 리스크를 유발한다: VLM 임베딩은 이미지 검색, 콘텐츠 랭킹, 채용 도구 등을 위한 특징(feature)으로 점점 더 많이 사용되고 있으므로, 모델의 최종 텍스트 출력과 관계없이 편향된 내부 신호가 이러한 시스템을 통해 전파됩니다.
감사 도구로서의 LALS: LALS는 이러한 숨겨진 편향을 탐지하기 위한 제로샷, 레이블 프리(label-free) 방법을 제공하며, 인구통계학적 연관성이 네트워크를 통해 어떻게 진화하는지에 대한 더 세밀한 관점을 제공합니다.

저자들은 모호한 시나리오에서 관찰되는 "남성 기본값"은 단순한 정렬 실패가 아니라, 사전 학습 데이터에 뿌리를 두고 네트워크의 비대칭적 성별 신호 필터링에 의해 강화된 모델 시각 처리의 구조적 특성이라고 결론짓습니다.