기술적 요약: 트랜스포머의 관계적 순위 기하학

문제 제기

현재의 기계적 해석 가능성 연구는 주로 개별 뉴런, 어텐션 헤드, 희소 특징, 또는 잔여 스트림 내의 선형 방향과 같은 국소적 또는 저차원 객체에 초점을 맞추고 있습니다. 이러한 도구들은 국소화된 특징에는 효과적이지만, 근본적인 간극을 남깁니다. 즉, 여러 토큰 간의 관계 기하학을 하나의 통합된 객체로서 충분히 설명하지 못한다는 점입니다. 최근 문헌은 개념들이 곡선 매니폴드를 형성할 수 있으며, 관계적 바인딩이 최첨단 모델들에게 체계적인 어려움으로 남아있음을 시사합니다. 본 논문은 모델이 여러 토큰 간의 관계를 표현할 때, 그 관계 자체가 참여하는 토큰 튜플의 숨겨진 상태 구성으로 정의되는 고유한 기하학적 객체인 **관계 프레임 (relation frame)**을 구성한다고 주장합니다. 핵심 문제는 이러한 프레임들이 측정 가능하고 순위로 인덱스된 방향성 구조를 갖는지, 그리고 이 구조가 모델 행동을 조종하기 위해 표적화될 수 있는지를 규명하는 것입니다.

방법론

1. 진단: 플뤼커 부호 엔트로피

관계의 기하학을 탐지하기 위해, 본 논문은 플뤼커 좌표 (행렬식 소행렬식) 에서 유도된 진단 통계량인 플뤼커 부호 엔트로피를 도입합니다.

• 투영: 숨겨진 상태는 가우시안 투영 행렬을 사용하여 고정된 저차원 부분 공간 (차원 $p=64$) 으로 투영됩니다.
• 방향성 측정: $k$개의 토큰으로 이루어진 튜플에 대해, 방법은 상위-$k$개 왼쪽 특이 토큰 임베딩에서 선택된 행 소행렬식의 행렬식 부호를 계산합니다. 이 부호는 튜플의 방향성 (손잡이성) 을 기록하면서 크기는 배제합니다.
• 엔트로피 계산: 이러한 부호들의 엔트로피는 실제 관계 튜플 집합, 난수화된 튜플 (동일한 토큰이지만 바인딩이 깨진 상태), 그리고 무작위 통제군을Across하여 계산됩니다. 낮은 부호 엔트로피는 더 일관된 방향성 서명을 나타냅니다.
• 순위 가설: 논문은 $r$-인자 관계가 예상되는 플뤼커 순위 $k=r$에서 가장 강한 방향성 일관성 (최저 엔트로피) 을 보일 것이라고 가설화합니다. 이 진단은 예상 순위 $k=r$에서의 엔트로피 차이를 다른 허용 가능한 순위들과 비교하여 "대각선 마진"을 측정합니다.

2. 개입: 엣지-그리드 정화/부패 분석

이러한 프레임들이 실행 가능한지 테스트하기 위해, 본 논문은 YES/NO 마커가 있는 $8 \times 8$ 행/열 토큰 그리드를 사용한 엣지-그리드 분석을 수행합니다.

• 설정: 프롬프트는 동일한 행/열 발판과 어휘를 공유하지만 YES/NO 관계 맵 (정화: 일관된 정체성 맵; 부패: 중복-대상 맵) 에서 차이가 납니다. 이는 표면 구조는 고정된 채 관계 상태만 변화하는 통제된 환경을 조성합니다.
• 조종 경로: 연구는 특정 YES/NO 마커 토큰 위치 (레이어 5) 에서 숨겨진 상태를 패치하여 "부패"된 관계-마커 구름을 "정화"된 구름 쪽으로 이동시킵니다. 여러 개입 계열이 테스트됩니다:
  • 형태 기반: 중심점을 고정하면서 마커의 상대적 배열 (중앙 집중형 형태) 을 대체합니다.
  • 중심점 기반: 평균 벡터만 이동시킵니다.
  • 부분 공간 기반: 구름이 span 하는 그라스만 부분 공간을 이동시킵니다.
  • 통제군: 등노름 노이즈, 무작위 회전, 잘못된 위치 패치.
• 판독: 판독 레이어 (70B/405B 모델의 경우 레이어 35) 에서 두 가지 지표를 통해 회복 정도를 측정합니다:
  1. 행동 회복: 정답 로지트 (logits) 가 정답 쪽으로 이동한 정도.
  2. 잔여 기하학 회복: 행/열 토큰의 외적으로 구성된 잔여 관계-블레이드 벡터가 정화된 기하학 쪽으로 이동한 정도.
  3. 결합 회복: 행동과 기하학이 경로 따라 함께 이동하도록 보장하는 지표.

주요 기여

1. 순위 인덱스 진단 분석: 본 논문은 통제된 $r$-인자 관계 튜플이 Llama 계열 8B, 70B, 405B 모델 전반에 걸쳐 예상되는 플뤼커 순위 $k=r$에서 더 강한 방향성 부호 일관성을 보임을 입증합니다. 이 신호는 405B 모델에서 가장 균일하며, 다중 템플릿 감사 전반에 걸쳐 지속되어 표면적 인공물과 구별됩니다.
2. 역량 게이트형 엣지-그리드 분석: 관계-마커 기하학을 주변 프롬프트 발판으로부터 분리하여 작업 구조를 변경하지 않고 관계 상태에 대한 정밀한 개입을 가능하게 하는 새로운 실험 설계입니다.
3. 관계 프레임을 위한 개입 증거: 연구는 유능한 모델 (70B 및 405B) 에서 관계-마커 구름의 형태 (특히 순서화된 정화 상태 기하학) 를 조종하면 정답 행동과 잔여 관계 기하학 모두를 회복시킨다고 보여줍니다. 핵심적으로, 중심점만 이동시키거나 등노름 노이즈를 적용하는 것은 이러한 회복을 일으키지 못하므로, 단순한 평균이나 교란 크기가 아닌 구조화된 형태가 인과적으로 효과적인 객체임을 시사합니다.

결과

• 탐지: 모든 모델 크기에 걸쳐, 실제 관계 튜플은 예상 순위에서 양의 대각선 마진을 보입니다 (인자 전용의 경우 $k=r$, 술어 + 인자의 경우 $k=r+1$). 405B 모델은 모든 테스트된 생성자 및 차수 ($r=3$에서 $6$) 에서 일관된 양의 마진을 보인 반면, 8B 와 70B 는 구조화되었으나 생성자별 변이를 보입니다.
• 조종: 70B 와 405B 에서 매끄러운 관계-프레임 경로 (선형 마커, 형태 전용, 그라스만 형태) 는 행동과 잔여 기하학 모두의 거의 완전한 종점 회복을 달성합니다.
  • 형태 vs. 중심점: 형태 전용 개입은 전체 중심점 + 형태 개입과 거의 동등하게 행동을 회복시키는 반면, 중심점 전용 이동은 무시할 만한 회복 ($\approx 0.002$) 만 냅니다.
  • 위치/순서 통제: 정화된 형태의 순서를 변경하거나 반사하면 회복이 사라지므로, 순서화된 기하학이 필수적임을 확인합니다. 프롬프트 간 정화된 형태의 전이는 성공하지만, 부패된 형태의 전이나 잘못된 위치에 정화된 델타를 적용하는 것은 실패합니다.
  • 플뤼커 판독: 성공적인 개입은 또한 정화 상태 쪽으로 엣지-마커 플뤼커 판독 (행렬식 부호 구조) 을 복원하여 연구의 진단 부분과 개입 부분을 연결합니다.
• 한계: 8B 모델은 역량 경계로 식별됩니다. 조종 주장을 지지할 기본 행동 역량이 부족하지만, 일부 기하학적 이동은 관찰됩니다. 프롬프트 간 전이 결과는 프롬프트 뱅크에서 사용된 정체성 맵 정화 상태에 특화되어 있으며, 아직 임의의 관계 내용에 대한 전이를 입증하지는 못했습니다.

의미 및 주장

본 논문은 관계 탐지에서 관계-프레임 개입으로 이어지는 상태 수준 연결고리를 확립했다고 주장합니다. 관계적 순위 기하학은 행렬식 부호 통계를 통해 탐지 가능하고, 관계 의존적 행동을 회복시키는 숨겨진 상태 개입을 통해 표적화 가능하다고 논증합니다.

의의는 분석 단위를 고립된 특징이나 선형 방향에서 유한하고 순서화된 토큰 숨겨진 상태 구성으로 전환하는 데 있습니다. 결과는 고차원 관계의 경우 모델이 올바른 행동의 주요 동인인 기하학적 객체 (관계 프레임) 를 활용함을 시사합니다. 이는 회로 수준 또는 특징 수준 객체와 구별되지만 보완적인 구체적인 관계 수준 핸들을 기계적 해석 가능성에 제공합니다. 논문은 명시적으로 전체 상류/하류 회로를 국소화했다고 주장하지는 않지만, 대신 관계적 행동을 매개하는 측정 가능하고 조종 가능한 상태 객체를 식별했다고 명시합니다.