기술 요약: 언어를 넘어선 대형 언어 모델의 형식-중립적 추론 부분 공간

문제 제기

대형 언어 모델 (LLM) 은 영어 산문, 중국어 텍스트, 파이썬 코드, 수학 기호 등 표면 형태가 극도로 다양한 동일한 논리적 추론을 처리합니다. 이전 연구는 다국어 LLM 이 자연어 간에 공유된 내부 표현을 발달시킨다는 것을 입증했으나, 이러한 불변성이 진정한 기호 체계 간에도 확장되는지는 알려지지 않았습니다. 핵심 질문은 LLM 이 특정 기호 인코딩 (언어적, 형식적, 구조적) 을 초월하는 공통의 내부 추론 기질을 보유하고 있는지, 그리고 만약 그렇다면 이 구조가 계산에 인과적으로 관여하며 아키텍처 전반에 걸쳐 보편적인지 여부입니다.

방법론

저자들은 산술, 논리, 관계, 인과, 공간 영역에 걸친 18 가지 추론 개념에서 파생된 324 개의 자극으로 구성된 통제된 데이터셋인 TriForm 벤치마크를 도입했습니다. 각 개념은 세 가지 차원을 따라 조직된 여섯 가지 표면 형태로 표현됩니다:

1. 언어적: 영어, 중국어, 프랑스어 산문.
2. 기호적: 파이썬 코드 및 수학 기호.
3. 구조적: 구조화된 단계별 데이터.

본 연구는 GPT, Qwen, Llama/Mistral 세 가지 아키텍처 계열의 1.6B 에서 8B 파라미터까지의 다섯 가지 디코더 전용 LLM 을 다음 분석 프레임워크를 사용하여 평가했습니다:

• 순열 보정 RSA: 개념 수준의 구조를 식별하기 위해 저자들은 쌍별 거리의 비독립성을 보정하기 위해 순열 검정을 포함한 표현 유사성 분석 (RSA) 을 사용하여 표면 형태 신호와 개념 신호를 구분합니다.
• 교차 형태 프로빙: 한 표면 형태의 활성화에서 훈련된 릿지 정규화 분류기를 다른 표면 형태의 개념 정체성을 예측하는 데 사용하여 형식 간 선형 디코딩 가능성을 테스트합니다.
• 형식-뉴런 엔트로피: LAPE 에서 영감을 받아 저자들은 다양한 형태에 걸친 활성화 분포의 엔트로피를 측정하여 뉴런의 특이성을 정량화하고, 특정 형태에 특화된 뉴런과 형식-중립적으로 균일하게 활성화되는 뉴런을 식별합니다.
• 부분 공간 추출 (FARS): 개념 중심 주성분 분석 (PCA) 을 사용하여 형식-중립적 추론 부분 공간을 추출합니다. 각 개념에 대해 모든 형태와 인스턴스에 걸친 활성화의 평균을 취함으로써, 저자들은 형태 변이를 억제하면서 개념 변이를 포착하는 상위-$k$개의 주성분을 분리해냅니다.
• 인과적 개입: 본 연구는 활성화 패칭과 부분 공간 제거를 활용합니다.
  • 교차 형태 패칭: 소스 형태 (예: 영어) 의 숨겨진 상태를 대상 형태 (예: 수학) 로 교체하여 출력 보존을 측정합니다.
  • 부분 공간 패칭: 교차 형태 전송 중 프로젝션된 FARS 구성 요소 (10 차원) 만 교체합니다.
  • 부분 공간 제거: FARS 방향을 제거하여 모델 출력에 미치는 교란을 측정합니다.

주요 결과

1. 형식-중립적 추론 부분 공간 (FARS) 의 존재

• 상관 관계 증거: RSA 는 모든 모델의 중간 층에서 개념 수준 신호가 정점에 달하며, 규모가 커질수록 강화됨을 보여줍니다. 표면 형태는 지배적인 조직 원리 (Form RSA $\rho \approx 0.43\text{--}0.53$) 로 남아 있지만, 개념 신호는 유의미하며 ($\rho \approx 0.10\text{--}0.20$) 모델 크기에 따라 더 빠르게 성장합니다.
• 디코딩 가능성: 교차 형태 프로빙 정확도는 우연 (5.6%) 을 크게 상회하여 최대 60.3%(Mistral-7B) 에 달합니다.
• 뉴런 국소화: 형식-중립적 뉴런은 중간 층에 집중되어 있으며 (뉴런의 20–23%), 이전 교차 언어 연구에서 발견된 언어-중립적 뉴런의 분포를 반영합니다.

2. 인과적 관련성 및 부분 공간 효율성

• 고충실도 전송: 교차 형태 패칭 중 FARS 부분 공간의 상위 10 차원만 교체하면 모델의 상위 10 토큰 출력이 90–96% 보존됩니다.
• 대조군 비교: 이 성능은 전체 활성화 교체 (44–56%) 및 분산 최대화 PCA 교체 (60–74%) 를 훨씬 능가합니다.
• 제거: FARS 부분 공간을 제거하면 표적 교란이 발생하여 (FARS 에 대한 낮은 KL 발산, 형태 특정 방향에 대한 높은 KL 발산), 이러한 특정 차원이 교차 형태 추론에 인과적으로 충분함을 확인시켜 줍니다.
• 차원성: 추론 관련 구조는 진정으로 저차원이며, 1600–4096 차원 공간 내에서 $k=8\text{--}10$개의 구성 요소에서 평탄화됩니다.

3. 선언적 - 절차적 비대칭성

중요한 발견은 언어뿐만 아니라 기호 체계의 성격에 기반한 호환성의 분기입니다:

• 선언적 호환성: 영어 산문과 수학 기호 간의 패칭은 **65–73%**의 출력을 보존합니다.
• 절차적 분기: 영어 산문과 파이썬 코드 간의 패칭은 **16–22%**의 출력만 보존합니다.
• 결론: 분기의 핵심 축은 "언어적 vs 형식적"이 아니라 선언적 vs 절차적입니다. 표현은 선언적 형식 (산문, 수학, 구조화된 데이터) 간에 매우 호환되지만, 절차적 인코딩 (코드) 으로 연결될 때는 현저히 덜 호환됩니다.

4. 보편성 및 수렴

• 일반화: 개념의 부분 집합에서 추출된 FARS 는 보류된 개념으로 우아한 저하와 함께 일반화됩니다.
• 교차 아키텍처 수렴: 서로 다른 모델 계열이 동일한 부분 공간 기하학으로 수렴합니다. 교차 모델 정규 상관 분석 (CCA) 은 모든 쌍에 대해 0.79를 초과하며, 중심 RSA 는 0.77을 초과하여 단일 모달리티 내에서 플라톤적 표현 가설에 대한 증거를 제공합니다.

중요성 및 주장

본 논문은 LLM 이 교차 기호 전송에 인과적으로 충분한 구체적이고 저차원이며 형식-중립적인 추론 부분 공간을 발달시킨다는 최초의 체계적 증거를 제공한다고 주장합니다.

• 이론적 기여: 이 발견은 단일 모달리티 내에서 플라톤적 표현 가설을 지지하며, 추상적 추론에 대한 표현이 서로 다른 기호 인코딩 간에 수렴함을 시사합니다.
• 메커니즘적 통찰: 선언적 - 절차적 비대칭성의 발견은 형식 불변성에 대한 이해를 정제하여, 이전에 특징화되지 않았던 선언적 추론 (산문, 수학) 과 절차적 실행 (코드) 간의 근본적인 경계를 식별합니다.
• 실용적 유용성: FARS 는 표현 공학을 위한 구체적이고 추출 가능한 도구 (10 차원 기저) 를 제공합니다. 이는 한 선언적 형식 (예: 영어) 에서 발견된 안전 개입이나 조향 벡터가 이 부분 공간을 통해 다른 형식 (예: 수학) 으로 전송될 수 있음을 시사하지만, 절차적 형식 (코드) 으로 연결될 때는 실패할 수 있음을 보여줍니다. 이는 코드 내의 해로운 추론이 산문으로 훈련된 필터를 우회할 수 있는 잠재적 안전 격차를 강조합니다.

저자들은 기본 모델만 평가했다는 점, FARS 추출의 감독적 성격, 프로그램적으로 생성된 자극의 사용 등을 포함하여 한계를 지적하며, 더 크거나 지시 튜닝된 모델에서 FARS 의 차원성과 기하학은 여전히 열린 질문임을 인정합니다.