💬 NLP

GGSS: Geodesic-Gated Spherical Steering for Inference-Time Debiasing of Generative Vision-Language Models

이 논문은 생성형 시각-언어 모델의 핵심적인 시각-언어 능력을 유지하면서 인구통계학적 편향을 효과적으로 줄이기 위해, 단위 초구면 상의 측지선 호(geodesic arcs)를 따라 시각적 토큰을 유도하는 규범 보존 추론 시 개입 기법인 GGSS를 소개한다.

원저자: Yiqun Sun, Junyu Chen, Pengfei Wei, Lawrence B. Hsieh

게시일 2026-08-27

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yiqun Sun, Junyu Chen, Pengfei Wei, Lawrence B. Hsieh

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

보고 듣고 말할 수 있는 인공지능 시스템은 우리 일상생활에서 흔한 조수가 되어 이력서를 분류하고, 질문에 답하며, 의료 영상을 해석하는 일을 돕고 있습니다. 시각-언어 모델(vision-language models)로 알려진 이 시스템들은 수백만 장의 사진과 그에 수반되는 텍스트 설명을 학습하며 배웁니다. 그러나 인간이 만든 데이터를 통해 학습하기 때문에, 이들은 인종, 성별, 직업에 대해 우리가 가진 불공정한 고정관념을 그대로 흡수하곤 합니다. 컴퓨터는 사람의 사진을 보고, 시각적 세부 사항이 동일함에도 불구하고 오직 인지된 인종이나 성별만을 근거로 다른 급여나 직업명을 추측할 수 있습니다. 이는 고도의 결정이 내려지는 기술 분야에서 심각한 문제이지만, 이를 해결하는 것은 어렵습니다. 전통적으로 이러한 편향을 제거하기 위해 개발자들은 거대한 컴퓨터 모델 전체를 처음부터 다시 훈련시켜야 했으며, 이 과정에는 엄청난 컴퓨팅 능력과 시간이 소요되었습니다. 더욱이, 편향을 수정하기 위해 설계된 기존의 많은 방법들은 이미지를 하나의 요약본으로 처리하는 구형 AI를 위해 만들어졌으며, 현대의 시스템처럼 이미지를 수천 개의 작은 조각으로 나누어 이해하는 방식에는 적합하지 않았습니다.

연구진은 이제 모델을 재학습시키지 않고도 이러한 편향을 교정할 수 있는 새로운 방법을 개발했습니다. 그들은 이 방법을 GGSS, 즉 지오데식 게이티드 스페리컬 스티어링(Geodesic-Gated Spherical Steering)이라 부릅니다. AI를 다시 구축하는 대신, 이들은 모델이 사고하는 동안 작동하는 작고 가벼운 조정 장치를 삽입합니다. AI가 이미지에 대해 갖는 내부적 이해를 서로 다른 개념을 가리키는 다양한 방향들의 집합이라고 상상해 보십시오. AI가 얼굴을 볼 때, 어떤 방향들은 그 사람의 정체성을 가리키는 반면, 다른 방향들은 그 사람의 직업이나 배경을 가리킵니다. 연구진은 AI의 인종이나 성별에 대한 편향이 특정 방향 세트에 집중되어 있으며, 나머지 정보는 중립적인 상태로 남아 있다는 것을 발견했습니다. 그들의 목표는 사람의 실제 외형이나 이미지의 맥락을 방해하지 않으면서, 편향된 방향들을 고정관념으로부터 부드럽게 밀어내는 것이었습니다.

연구진은 이 방법을 네 가지 서로 다른 현대적 시각-언어 모델에 테스트했습니다. 먼저, 모델들에게 인종이나 성별의 인지만 변하고 의상, 자세, 배경 등 다른 모든 요소는 정확히 동일하게 유지되는 정교하게 통제된 일련의 이미지들을 보여주었습니다. 모델의 내부 신호가 인종이나 성별이 변할 때 어떻게 이동하는지 관찰함으로써, 연구진은 모델이 따르는 특정 '편향 경로(bias path)'를 그려냈습니다. 그런 다음 이들은 일반적인 사용 중에 이를 수정하기 위한 2단계 프로세스를 만들었습니다. 첫 번째 단계는 이미지의 어떤 특정 부분이 편향을 유발하는지 식별하는 것입니다. 이미지의 모든 부분이 똑같이 편향된 것은 아닙니다. 예를 들어, 얼굴은 인종의 강한 신호를 전달할 수 있지만, 배경이나 사람의 신발은 거의 그렇지 않습니다. 이 새로운 방법은 스마트 필터를 사용하여 편향을 실제로 전달하는 이미지의 부분에만 교정을 집중하고, 중립적인 부분은 그대로 둡니다.

두 번째 단계는 교정이 어떻게 일어나는가 하는 점입니다. 기존의 방법들은 마치 그림 위의 선을 지우듯 단순히 편향을 빼버리려고 시도했습니다. 연구진은 이러한 '강한' 뺄셈이 이미지의 의미를 왜곡하여 AI가 이미지를 올바르게 이해하는 능력을 상실하게 만든다는 것을 발견했습니다. 대신, 그들은 정보를 곡선 경로를 따라 이동시키는 기술을 사용했는데, 이는 마치 비행기가 땅을 뚫고 지나가는 직선 대신 지구의 곡률을 따라 최단 경로를 비행하는 것과 유사합니다. 이를 통해 AI는 전체적인 지각의 형태와 강도를 유지하면서 고정관념으로부터 이해의 방향을 회전시킬 수 있습니다. 이 곡선 이동을 편향된 부분을 겨냥하는 스마트 필터와 결합함으로써, 시스템은 일반적인 지능을 무너뜨리지 않고도 불공정함을 줄일 수 있습니다.

그들의 테스트 결과는 명확하고 유의미했습니다. 이 방법을 네 가지 다른 AI 모델에 적용했을 때, 모델들의 답변에 나타난 편향이 큰 폭으로 감소했습니다. 어떤 경우에는 급여나 직업을 판단하는 모델의 불공정한 격차가 90% 이상 줄어들기도 했습니다. 결정적으로, 모델들은 다른 과업을 수행하는 능력을 잃지 않았습니다. 연구진은 과학, 수학, 논리를 다루는 1,500개의 질문으로 구성된 표준 테스트를 사용하여 모델의 일반적인 지식과 추론 능력을 확인했습니다. 편향 교정을 받은 모델들은 원래의 교정되지 않은 모델들과 똑같이 잘 작동했으며, 정확도 변화는 1% 미만이었습니다. 이는 시스템을 더 멍청하게 만들지 않고도 더 공정하게 만들 수 있음을 입증했습니다.

이 연구는 또한 이 접근 방식이 이전의 시도들보다 더 신뢰할 수 있다는 것을 보여주었습니다. 곡선 경로를 사용하지 않는 더 오래되고 단순한 방법들을 사용했을 때, 모델들은 종종 혼란을 겪거나 질문에 제대로 답하지 못했습니다. 연구진은 곡선 경로가 가장 크고 복잡한 모델에서 특히 중요하며, 단순한 교정은 시스템을 완전히 실패하게 만든다는 것을 발견했습니다. 또한 이 방법이 유연하다는 것도 입증했습니다. 교정을 얼마나 강하게 적용할지 조절함으로써, 사용자는 의료 기록 작성과 같이 특정 작업에 인구통계학적 세부 사항을 인식해야 하는 경우를 제외하고는 편향을 크게 줄이는 쪽을 선택할 수 있습니다.

이 작업은 인공지능을 더욱 형평성 있게 만들기 위한 실용적인 도구를 제공합니다. 이는 우리가 가장 진보된 AI 시스템의 편견을 고치기 위해 시스템을 폐기하고 다시 구축할 필요가 없음을 보여줍니다. 대신, 시스템이 실행되는 동안 이루어지는 표적화된 정교한 조정을 통해, 모델의 세계를 보고 이해하는 능력을 보존하면서도 불공정한 고정관념을 제거할 수 있습니다. 연구진은 다른 사람들이 이 접근 방식을 테스트하고 사용할 수 있도록 코드를 공개하여, 강력하면서도 공정한 AI 시스템을 배포하는 새로운 길을 제시했습니다.

기술 요약: GGSS – 추론 시 편향 제거를 위한 지오데식 게이티드 구형 스티어링 (Geodesic-Gated Spherical Steering)

문제 정의

생성형 시각-언어 모델(VLM)은 인간 중심의 고위험 결정 맥락에 점점 더 많이 배치되고 있으나, 시각적 콘텐츠가 통제된 상황에서도 인종 및 성별과 같은 인구통계학적 속성에 대해 체계적으로 편향된 출력을 생성하는 경우가 빈번하다. 기존의 추론 시 편향 제거 방법들(예: INLP, R-LACE, LEACE)은 정적 임베딩이나 CLIP 스타일의 이중 인코더에는 효과적이었으나, 현대적인 생성형 VLM에는 적합하지 않다. 이러한 모델은 이미지를 디코더 전용 언어 모델과 결합된 시각적 토큰의 시퀀스로 인코딩한다. 이러한 아키텍처에 전통적인 편향 제거 기술을 적용하는 데는 세 가지 구체적인 과제가 따른다:

기하학적 보존 (Geometry Preservation): 편향 방향에 대한 유클리드 차감(Euclidean subtraction)은 토큰의 노름(norm)과 방향을 왜곡하여, 일반적인 품질의 급격한 저하와 "과잉 스티어링(over-steering)" 실패 모드를 초래하며, 특히 모델 규모가 커질수록 이러한 현상이 심화된다.
토큰 수준의 편향 이질성 (Token-Level Bias Heterogeneity): 인구통계학적 신호는 소수의 시각적 토큰(예: 얼굴 또는 의류)에 집중되어 있는 반면, 다른 토큰들은 포즈나 배경을 인코딩한다. 균일한 서브스페이스 투영(subspace projection)은 편향되지 않은 토큰까지 과도하게 교정하여 작업 성능을 저하시킨다.
단일 방향의 경직성 (Single-Direction Rigidity): 많은 방법론이 이진(binary) 보호 속성과 단일 편향 방향을 가정하지만, 인종과 같은 속성은 저차원 서브스페이스 처리가 필요한 다중 클래스 구조를 가진다.

방법론: GGSS 프레임워크

저자들은 두 단계, 즉 오프라인 발견(offline discovery)과 온라인 추론(online inference)으로 작동하는 노름 보존 개입 프레임워크인 **GGSS (Geodesic-Gated Spherical Steering)**를 제안한다.

1. 오프라인 발견 (대조적 편향 서브스페이스 추정)
동결된 VLM과 대조적 이미지 세트(다른 요인들은 고정한 채 인구통계학적 속성만 변화시킨 이미지)를 사용하여 편향 기하학을 추정한다:

구형 대표값 (Spherical Representatives): 시각적 활성화 값을 풀링하고 단위 초구체( $S^{D-1}$ )로 정규화한다.
서브스페이스 추정: 각 컨텍스트에 대해 프레셰 평균(Fréchet mean)을 계산하고, 그룹 평균 간의 접공간(tangent-space) 이동을 계산한다. 이러한 이동에 특이값 분해(SVD)를 적용하여 다차원 편향 서브스페이스( $V_{bias}$ )를 식별한다.
게이트 교정 (Gate Calibration): 이러한 대표값들이 편향 서브스페이스로 투영되는 크기를 측정하여 적응형 게이트를 교정하기 위한 분포를 설정한다. 이를 통해 적응형 게이트에 사용될 통계치(중앙값 $\tilde{b}$ 및 표준편차 $\sigma_b$ )를 산출한다.

2. 온라인 추론 (토큰 수준의 지오데식 스티어링)
추론 중에 GGSS는 시각-언어 투영 레이어에서 개입한다:

투영 (Projection): 각 시각적 토큰을 글로벌 참조점( $\mu$ )에서의 접공간으로 매핑한다. 학습된 편향 서브스페이스 내에 존재하는 토큰의 성분을 투영하여 제거함으로써 "깨끗한(clean)" 성분만을 남긴다.
적응형 게이팅 (Adaptive Gating): 발견 단계의 통계치와 비교하여 토큰의 편향 크기에 따라 토큰별 게이트( $g_i$ )를 계산한다. 편향 신호가 낮은 토큰은 스티어링을 거의 받지 않으며, 강한 인구통계학적 신호를 가진 토큰은 더 공격적으로 스티어링된다.
지오데식 업데이트 (Geodesic Update): 유클리드 차감 대신, 이 방법은 **구형 선형 보간(Slerp)**을 사용하여 원래 위치에서 편향이 제거된 목표 방향을 향해 지오데식 호(geodesic arc)를 따라 토큰 방향을 회전시킨다. 이는 토큰의 노름을 정확하게 보존한다.
노름 복원 (Norm Restoration): 스티어링된 활성화 값을 언어 디코더로 전달하기 전에 원래의 토큰 노름을 복원한다.

주요 기여

한계점 식별: 본 논문은 기하학적 왜곡과 선택성 부족으로 인해, 생성형 VLM에서 하드(hard)하고 토큰 균일적인 단일 방향 편향 제거 연산자가 성능이 떨어진다는 점을 입증한다.
노름 보존 지오데식 대안: GGSS는 유클리드 스티어링을 구형 기하학으로 대체하여 토큰 노름을 보존하고, 과잉 스티어링과 관련된 품질 저하를 방지하는 프레임워크를 도입한다.
적응형 게이팅: 발견 과정에서 관찰된 편향 노름 분포를 기반으로 토큰별 스티어링 강도를 할당하는 추론 시 게이트를 도입하여, 추가 학습 없이도 작동하게 한다.
통합 벤치마킹: 저자들은 10개의 대표적인 CLIP 및 LM 시대의 편향 제거 도구들을 동일한 생성형 VLM 개입 레이어로 이식하여 통합 비교 스위트를 구축하였다.

실험 결과

저자들은 10개의 적응된 베이스라인 및 프롬프트 기반 완화 기법을 대상으로 네 가지 생성형 VLM(Pixtral-12B, LLaVA-1.6-Vicuna-7B, LLaVA-1.6-Mistral-7B, Qwen3-VL-4B)에 대해 GGSS를 평가하였다.

편향 감소: GGSS는 네 가지 모델 모두에서 가장 낮은 평균 편향을 달s성했다. 이는 상당한 편향 감소를 보여주었으며, 작업별로 간호사/의사 분류에서 최대 96%, MCQ 급여 질문에서 84%, 2AFC 소득 질문에서 61%의 개선을 보였다. 네 가지 백본 중 세 곳에서 통계적 유의성이 관찰되었다.
역량 보존: 결정적으로, GGSS는 일반적인 멀티모달 추론 능력을 보존했다. MMStar 벤치마크에서 GGSS는 스티어링되지 않은 베이스라인 대비 $\pm 0.6$ 퍼센티지 포인트 이내의 정확도를 유지했다. 반면, 여러 베이스라인(예: 구형 BendVLM)은 일반 역량의 상당한 저하나 생성의 완전한 붕괴를 초래했다.
절제 연구 (Ablation Studies): 구성 요소 절제 연구를 통해 구형 스티어링(Slerp)과 적응형 게이트의 결합이 방법론의 견고성과 선택성을 책임진다는 것을 확인했다. 특히, 구형 스티어링은 대규모 모델(12B)에서의 견고성에 결정적이었으며, 게이트는 필수적인 선택성을 제공하는 것으로 나타났다.

의의 및 주장

본 논문은 생성형 VLM의 경우, 적응형 지오데식 스티어링이 하드하고 균일한 투영보다 추론 시 편향 완화를 위한 우수한 프리미티브(primitive)임을 주장한다. 이 연구의 의의는 모델을 재학습시키거나 일반적인 추론 능력을 희생하지 않고도 편향을 효과적으로 줄일 수 있음을 입증한 데 있다.

저자들은 배포와 관련하여 다음과 같이 신중한 입장을 유지한다:

만능 해결책이 아님: GGSS는 측정된 편향을 줄이지만, 모델 파라미터 내의 편향된 지식을 제거하거나 분포 변화(distribution shifts) 하에서의 공정성을 보장하지는 않는다.
트레이드오프: 스티어링 강도( $\alpha$ )는 편향 감소와 인구통계학적 정보 유지 사이의 트레이드오프를 조절한다. 높은 강도에서는 해당 속성을 효과적으로 제거하지만, 이는 인구통계학적 인식이 필요한 작업(예: 임상 기록)에서는 바람직하지 않을 수 있다.
이중 용도 (Dual-Use): 이 메커니즘은 편향을 줄이는 것만큼이나 쉽게 편향을 증폭하는 데에도 사용될 수 있다.
범위: 평가는 이미지 조건 환경에서의 인지된 인종 및 성별에 국한되며, 다른 속성, 언어 또는 도메인으로의 일반화는 확립되지 않았다.

결론적으로, 본 연구는 매치드-게이트(matched-gate) 절제 연구를 통해 구형 스티어링이 규모에 따른 견고성을, 게이트가 제어 가능성을 부여함을 밝힘으로써, 동결된 생성형 VLM의 추론 시 편향 완화를 위한 실용적이고 가벼운 개입으로서 적응형 지오데식 스티어링을 지지한다.