기술 요약: 조향 벡터를 활용한 화이트박스 민감도 감사

문제 제기

현재 대규모 언어 모델 (LLM) 에 대한 알고리즘 감사는 주로 블랙박스 평가에 의존하며, 이는 입력 - 출력 테스트를 통해서만 모델 행동을 평가합니다. 이러한 방법론은 세 가지 치명적인 한계에 직면해 있습니다:

1. 표면적 제약: 이들은 휴리스틱에 의해 생성되는 경우가 많은 입력 공간에서 구성된 테스트로 제한되며, 이로 인해 프롬프트 민감도와 일관성 없는 결과에 취약합니다.
2. 추상적 개념의 어려움: 성별이나 인종 편향과 같은 많은 사회적으로 관련된 속성들은 텍스트 기반 입력만으로 정확하게 포착하거나 조작하기 어려운 추상적 개념을 포함합니다. 모델은 명시적인 보호 속성이 교란될 때 편향 없이 보이는 것처럼 보일 수 있지만, 여전히 암시적 프록시를 통해 편향을 나타낼 수 있습니다.
3. 구르트링 (Goodharting) 위험: 벤더들은 근본적인 문제를 해결하지 않은 채 특정 블랙박스 테스트를 통과하도록 모델을 최적화할 수 있어, 신뢰할 수 없는 평가로 이어질 수 있습니다.

화이트박스 접근 (가중치, 활성화, 기울기) 은 내부 메커니즘을 이해하는 데 이론적으로 우월하지만, 이전 연구들은 실제로 이러한 감사를 수행하기 위한 구체적인 기술적 접근법을 제공하지 못했습니다.

방법론

저자들은 **활성화 조향 (activation steering)**을 활용하여 내부 모델 표현을 조작하고 특정 개념에 대한 민감도를 평가하는 화이트박스 민감도 감사 프레임워크를 제안합니다. 이 프레임워크는 Kim 등 (2018) 의 사후 해석 가능성 방법을 적용하고, 벡터 추출을 위해 비지도 가중 평균 차이 (Weighted Mean Difference, WMD) 방법 (Cyberey 등, 2025) 을 사용합니다.

감사 과정은 다음 6 단계 프레임워크를 따릅니다:

1. 맥락 및 요구사항: 배포 환경과 시스템 요구사항을 정의합니다 (예: 신용 점수 매기기에서 성별에 대한 불변성).
2. 테스트 구성: 의도된 사용에 부합하는 대표적인 테스트 템플릿을 설계합니다.
3. 조향 벡터 추출:
   • 대상 개념 $C$의 다양한 정도를 포괄하는 데이터셋 $D_C$ (예: 성별화된 언어 또는 방언적 차이) 를 사용합니다.
   • WMD 방법은 대조 개념 간의 출력 확률 차이인 불일치 점수로 입력 활성화를 가중하여 조향 벡터 $v_C$를 계산합니다.
   • 관련 없는 정보를 필터링하기 위해 중립 오프셋이 적용되며, 층 선택은 선형 분리성에 기반합니다.
4. 민감도 테스트:
   • 테스트 입력 집합 $D$에 대해 보호 속성의 명시적 마커를 중립화하거나 제거합니다.
   • 입력의 내부 표현 $h_x$를 교란합니다: $h'_x = h_x + \lambda v_C$. 여기서 $\lambda \in [-1, 1]$은 조향 계수입니다.
   • 모델은 다양한 $\lambda$ 값에 대해 조향된 출력 $y'$을 생성합니다.
5. 준수 평가:
   • **민감도 지표 ($S_C$)**는 조향 계수 $\lambda$와 출력 $y'$ 간의 선형 회귀를 적합하여 계산합니다. 기울기는 개념 $C$에 대한 모델의 평균 의존도를 나타냅니다.
   • 불변성 요구사항: 모델이 $|S_C| \le \epsilon$ (무시할 수 있는 민감도) 일 때 요구사항을 충족합니다.
   • 의존성 요구사항: 모델이 $|S_C| \ge \epsilon$ (유의미하고 예측 가능한 민감도) 일 때 요구사항을 충족합니다.

주요 기여

1. 구체적인 화이트박스 프레임워크: 본 논문은 표면적 입력 교란이 아닌 모델 내부에 대한 표적 개입을 사용하는 실용적인 엔드 - 투 - 엔드 감사 방법을 소개합니다.
2. 새로운 평가 지표: 방향 도함수를 통해 모델 민감도를 측정하기 위해 활성화 조향을 적용하여, 이진 통과/실패가 아닌 등급 척도에서 모델 속성 (예: 편향) 을 세밀하게 평가할 수 있게 합니다.
3. 일반화 가능성: 이 방법은 성별화된 언어와 같은 일반 데이터셋에서 추출된 조향 벡터가 추출 데이터와 관련이 없을 수 있는 작업별 입력 (예: 대출 신청서) 에서 개념을 조작하는 데 적용될 수 있음을 보여줍니다.
4. 강건성: 이 접근법은 블랙박스 교란 전략에서 관찰된 변동성과 비교하여 다양한 벡터 소스 across 일관된 평가 결과를 산출합니다.

실험 결과

이 방법은 Llama-3.1, Ministral, Qwen2.5 및 도메인별 변형을 포함한 모델을 사용하여 사법 재판, 신용 점수 매기기, 대학 입학, 의료 진단이라는 네 가지 고위험 의사결정 작업에서 평가되었습니다.

• 블랙박스와의 불일치: 신용 점수 매기기 및 사법 작업에서 화이트박스 방법은 표준 블랙박스 평가가 거의 또는 전혀 편향이 없다고 시사한 곳에서 상당한 편향 (보호 속성에 대한 의존성) 을 자주 감지했습니다. 예를 들어, 사법 작업에서 Saul-7B 모델은 블랙박스 테스트를 통해 약 2.5% 의 유죄 판결 편향을 보였으나, 화이트박스 방법은 인종 그룹 간 20% 의 민감도 차이를 드러냈습니다.
• 숨겨진 편향의 검증: 신용 점수 매기기에서 블랙박스 방법이 명시적 성별 레이블 대신 이름 교란 (암시적 성별 단서) 을 사용하도록 수정되었을 때, 측정된 편향은 증가하여 화이트박스 추정치와 일치했습니다. 이는 화이트박스 방법이 명시적 블랙박스 교란이 놓치는 실제 편향 위험을 포착함을 시사합니다.
• 변수 분리: Sobol' 지수를 사용하여 저자들은 화이트박스 조향이 비보호 작업 변수 (예: 신용 이력, 고용 기간) 에 미치는 영향이 미미한 반면, 이름 추가와 같은 블랙박스 입력 교란은 때때로 모델의 이러한 변수 분해를 변경시켰음을 보여주었습니다.
• 강건성: 화이트박스 결과는 조향 벡터가 서로 다른 데이터셋 (방언 대 인종 정체성) 에서 유도되었을 때 일관성을 유지한 반면, 블랙박스 결과는 인종이 명시적으로 교란되었는지 암시적으로 교란되었는지에 따라 크게 변동했습니다.

중요성 및 주장

본 논문은 표면적 블랙박스 평가가 편향과 같은 추상적 모델 속성을 평가하는 데 불충분하다고 주장합니다. 내부 표현을 직접 탐구함으로써 제안된 화이트박스 방법은 다음과 같은 이점을 제공합니다:

• 숨겨진 의존성 드러내기: 전통적인 입력 - 출력 테스트를 피하는 보호 속성에 대한 상당한 의존성을 식별합니다.
• 신뢰성 향상: 특정 테스트 프롬프트 구성에 덜 민감한 더 일관된 감사 결과를 제공합니다.
• 해석 가능성 강화: 감사자가 모델의 잠재 공간 내에서 특정 개념을 분리하여 모델이 의도된 배포 컨텍스트에서 신뢰할 수 있게 작동하는지 더 엄격하게 평가할 수 있게 합니다.

저자들은 선형 표현 가설이 그들의 방법의 기반이 되지만, 이 접근법이 고위험 환경에서 LLM 에 대한 더 엄격하고 투명하며 신뢰할 수 있는 알고리즘 감사를 위한 실용적인 길을 제시한다고 결론지었습니다.