기술 요약: 경로가 갈라지는 지점: 대규모 언어 모델 내 도덕적 추론의 국소화 및 보정된 제어

문제 제기

대규모 언어 모델 (LLM) 이 수동적인 챗봇에서 능동적인 에이전트 및 사회 시뮬레이터로 전환함에 따라, 그 윤리적 행동을 제어하려는 요구가 진화했습니다. 프롬프트 엔지니어링이나 스칼라 조향 벡터 추가와 같은 기존 모델 행동 조향 방법들은 종종 해석 가능성과 보장된 보정 (calibration) 이 부족합니다. 구체적으로, 조향 계수의 유효 범위는 불명확하며, 결과적으로 특정 윤리적 관점에 대한 준수의 정도는 예측 불가능합니다. 저자들은 효과적인 도덕적 조향을 위해서는 국소화된(네트워크 내에서 윤리적 체계가 경쟁하는 부분만 편집하는) 그리고 보정된(경계된 선호 가중치를 통해 예측 가능한 효과를 생성하는) 개입이 필요하다고 주장합니다. 본 논문은 종종 도덕적 딜레마에서 상충되는 처방을 산출하는 의무론(규칙 기반 의무) 과 공리주의(결과 기반 결과) 라는 두 가지 윤리적 체계의 고전적 쌍에 초점을 맞춥니다.

방법론

제안된 접근법인 **수렴 - 발산 라우팅 **(Convergent-Divergent Routing, CDR) 은 모델 미세 조정 없이 추론 시에 작동합니다. 이는 두 가지 주요 단계로 구성됩니다:

1. 수렴 - 발산 라우팅 (CDR) 및 이진 제어

핵심 가설은 윤리적 체계들이 트랜스포머 블록 내부의 경로가 수렴한 후 발산하는 특정 "분기점"에서 경쟁한다는 것입니다.

• 분기점 식별: 이 방법은 윤리적 체계 전반에 걸쳐 공유되는 어텐션 헤드가 존재하는 층 (수렴) 이지만, 이후의 피드 - 포워드 네트워크 (FFN) 유닛이 발산하는 층을 식별합니다.
  • 어텐션 헤드: 윤리적 체계 레이블을 예측하기 위해 어텐션 헤드 표현에 선형 프로브를 훈련시킵니다. 높은 예측 성능을 보이는 헤드를 관련 헤드로 표시합니다.
  • FFN 벡터: 저자들은 "의무론"과 같은 지시 단어로 유도된 특정 윤리적 방향과 정렬된 FFN 벡터 (업 - 프로젝션 행렬의 열) 를 식별합니다.
• 게이팅 메커니즘: 식별된 분기점에서 이 방법은 공유된 어텐션 헤드로부터 비대상 FFN 유닛으로의 흐름을 게이팅 (차단) 합니다. 이는 공유 헤드로부터 비활성 윤리적 체계의 하류 유닛으로 신호가 전파되는 것을 방지하면서 상류 계산을 intact 하게 유지합니다.
• 이진 제어: 이 게이팅 자체는 명시적인 프롬프팅 없이도 대상 체계 내 추론을 크게 증폭시키는 이진 스위치 역할을 하여, 모델의 출력을 효과적으로 양극화합니다.

2. 이중 로그이트 보정을 통한 세밀한 제어

단순한 이진 스위칭이 아닌 연속적이고 보정된 제어를 달성하기 위해, 저자들은 두 단계 프로세스를 도입합니다:

• 쌍방향 추출: 이진 제어 하 (한 체계가 억제됨) 에 얻은 잔여 스트림을 사용하여, EEG 신호 처리에서 적응된 **공통 공간 패턴 **(Common Spatial Patterns, CSP) 기법을 적용합니다. CSP 는 두 클래스 간의 분산 비율을 최대화하면서 공유 분산을 억제함으로써 각 분기점 층에 대한 판별적 방향 (공리주의에 대한 $u^{(l)}$과 의무론에 대한 $d^{(l)}$) 을 분리해냅니다.
• **이중 로그이트 보정 **(DLC) 이는 디코딩 단계에서 잔여 스트림에 적용되는 폐쇄형 최소-$\ell_2$-노름 업데이트입니다.
  • 이 방법은 추출된 방향에 잔여 스트림을 투영한 것을 기반으로 방향성 로그이트를 정의합니다.
  • 편집의 노름을 최소화하면서 결과적인 방향성 투영이 사용자 지정 선호 가중치 $(\alpha_U, \alpha_D)$ (단, $\alpha_U + \alpha_D = 1$) 와 정렬되도록 하는 업데이트 $\Delta h^{(l)}_t$를 찾는 최적화 문제를 풉니다.
  • 이는 이전 조향 방법에서 사용된 무경계 스칼라 계수를 1-심플렉스 상의 경계된 선호 가중치로 대체하여 해석 가능성과 예측 가능성을 보장합니다.

주요 기여

1. 국소화된 개입: 이 논문은 전역 벡터 추가를 적용하는 대신 특정 "분기점"(서로 다른 FFN 유닛으로 발산하는 공유 어텐션 헤드) 을 대상으로 하는 도덕적 조향을 위한 기계론적 접근법을 제시합니다.
2. 보정된 제어: CSP 를 적응시키고 이중 로그이트 보정을 도입함으로써, 모델의 윤리적 성향을 사용자 지정 가중치 $(\alpha_U, \alpha_D)$에 맞추어 연속적으로 조정할 수 있는 세밀한 제어를 가능하게 합니다.
3. 해석 가능성: 이 접근법은 윤리적 추론이 어떻게 조작되는지에 대한 명확한 메커니즘을 제공하며, 체계 간의 경쟁을 특정 아키텍처 구성 요소로 추적합니다.
4. 일반 능력 보존: 편집의 국소적 성격은 일부 전역 조향 방법이 성능을 저하시키는 것과 달리, 일반 언어 능력 (예: 상식, 수학, 번역) 이 대부분 보존되도록 합니다.

실험 결과

이 방법은 LLaMA-2-7B-Chat, Vicuna-7B-v1.5, Yi-1.5-6B-Chat 을 사용하여 실제 생활 도덕적 딜레마 (AITA 데이터셋) 에서 평가되었습니다.

• 이진 제어: 이 방법은 모델 행동을 대상 체계로 성공적으로 양극화했습니다. 예를 들어, LLaMA 에서 $\alpha_U=1$(순수 공리주의) 로 설정하면 기준선인 약 62% 에서 공리주의 출력률이 약 84% 로 증가한 반면, $\alpha_U=0$일 때는 약 20% 로 감소했습니다.
• 세밀한 보정: 이 방법은 입력 선호 가중치 $\alpha_U$와 관찰된 공리주의 성향 ($U_{op}$) 사이에 거의 단조로운 관계를 보여주었습니다. 목표율과 관찰율 간의 평균 절대 오차 (MAE) 는 프롬프트 전용, Top-K 헤드 조향, 최상위 층 -FFN 이후 비율 조향과 같은 기준선보다 현저히 낮았으며, 편차는 일반적으로 5 퍼센트 포인트 이내였습니다.
• Ablation 연구:
  • CSP 를 cPCA, PLS-DA 와 같은 다른 방향 추출 방법으로 대체하면 보정 오류가 증가했습니다.
  • 게이팅 메커니즘 (차단) 을 제거하면 모델이 높고 낮은 선호 가중치를 구분하는 능력이 크게 감소했으며, 특히 Vicuna 에서 두드러졌습니다.
  • 전체 분기점 논리 없이 단일 층에서 조향하는 것은 전체 CDR 파이프라인보다 효과가 떨어졌습니다.
• 일반 능력: GSM8K, TriviaQA, 번역 작업에 대한 평가는 대부분의 설정에서 일반 능력의 저하가 미미함을 보여주었으며, 특정 모델의 경우 극단적인 선호 가중치에서만 경미한 감소가 있었습니다.
• 인간 평가: 인간 주석자들은 모델의 정당화가 명시된 윤리적 체계와 일관되게 일치함을 확인했습니다 (LLaMA 의 경우 정확도 0.81, Vicuna 의 경우 0.85).

중요성과 주장

저자들은 이 작업이 추론 시 특정 윤리적 체계로 LLM 을 조향하기 위한 신뢰할 수 있고, 해석 가능하며, 보정된 메커니즘을 제공한다고 주장합니다. 그 중요성은 다음과 같습니다:

• "블랙박스" 조향 벡터를 넘어 트랜스포머 내에서 윤리적 추론이 어디서 그리고 어떻게 처리되는지에 대한 기계론적 이해로 나아가는 것.
• 이전 연구의 스칼라 계수 불확실성을 해결하는 예측 가능하고 경계된 윤리적 정렬 정도를 제공하는 보정된 제어 체계.
• 국소적 편집이 모델의 일반 지능을 광범위하게 교란시키지 않고 고수준 추론 입장을 전환할 수 있음을 입증하는 것.

본 논문은 현재 의무론 대 공리주의의 이진 축에 초점을 맞추고 있지만, 수렴 - 발산 라우팅의 프레임워크가 더 다양한 가치 체계와 복잡한 도덕적 스펙트럼을 탐구하는 향후 연구를 위한 길을 제시한다고 결론지었습니다. 저자들은 윤리적 입장을 조향할 수 있는 능력이 고위험 응용 분야에서 선택적 프레임의 위험을 수반한다는 점을 지적하며 책임 있는 사용과 투명성의 중요성을 강조했습니다.