기술 요약: ACTIVATIONREASONING (AR)

문제 정의

대규모 언어 모델 (LLM) 은 유창한 텍스트 생성에는 탁월하지만, 불투명한 내부 추론 메커니즘으로 인해 어려움을 겪습니다. LLM 의 내부 활성화는 분산되어 있고 얽혀 있어 (이 현상을 중첩이라고 함), 여러 관련 없는 특징이 겹치는 차원에 인코딩됩니다. 이는 개념적 표현을 흐리게 하고, 해석 가능성을 제한하며, 체계적인 추론, 구성적 일반화, 그리고 규칙 준수를 방해합니다. 희소 오토인코더 (SAE) 는 인간이 해석 가능한 개념과 종종 일치하는 잠재적 특징을 표면화하는 도구로 등장했지만, 이러한 특징들은 여전히 취약하고 수동적이며, 종종 다의적이거나 문맥적으로 불안정합니다. 결정적으로, SAE 는 구성과 고차원 추론을 위한 메커니즘이 부족합니다. 반면, 형식 논리는 명시적인 구성성과 투명성을 제공하지만, 이산적인 명제 단위를 전제하는데, 이는 LLM 의 연속적이고 중첩된 표현과 상충됩니다. 이러한 불일치는 역사적으로 심볼릭 추론을 신경 아키텍처에 직접 통합하는 것을 방해해 왔습니다.

방법론: ACTIVATIONREASONING (AR)

저자들은 LLM 의 잠재 활성화 공간에 명시적인 논리적 추론을 직접 임베딩하는 프레임워크인 **ACTIVATIONREASONING (AR)**을 제안합니다. AR 은 SAE 에서 파생된 특징을 명제 단위로 취급하고, 사용자가 정의한 규칙을 통해 이를 구성합니다. 이 프레임워크는 세 가지 명확한 단계로 운영됩니다:

1. 잠재 표현 찾기

첫 번째 단계는 LLM 의 잠재 공간에 기반한 개념 사전 ($D$) 을 구축합니다.

• 형식화: 개념 $c$는 $(n_c, r_c, \tau_c)$로 정의된 튜플이며, 여기서 $n_c$는 의미 식별자, $r_c$는 잠재 표현 함수, $\tau_c$는 소프트 활성화 임계값입니다.
• SAE 통합: 중첩 문제를 해결하기 위해, 원시 LLM 활성화는 SAE 를 사용하여 희소 특징 공간으로 투영되어 단일 의미성을 촉진합니다.
• 표현 유형: AR 은 다양한 수준의 추상화와 다의성을 처리하기 위해 세 가지 형태의 잠재 표현을 지원합니다:
  • 단일 특징 ($R_{single}$): 하나의 개념을 하나의 SAE 특징에 연결합니다.
  • 다중 특징 ($R_{multi}$): 하나의 개념을 $k$개의 SAE 특징 집합에 연관시키고, 분산되거나 다의적인 특징을 처리하기 위해 가중 합을 통해 증거를 집계합니다.
  • 관계 특징 ($R_{relation}$): SAE 특징 간의 구조화된 관계 (예: 의사결정나무) 를 통해 개념을 정의하여, 결합이나 문맥 의존적 배제 (예: 증오 표현과 교육적 사용 구분) 와 같은 복잡한 상호작용을 허용합니다.
• 추출: 표현은 개념으로 레이블된 토큰과 그렇지 않은 토큰을 가장 잘 구분하는 SAE 특징을 자동으로 식별하거나, 전문가가 수동으로 할당하여 유도됩니다.

2. 명제 활성화

추론 과정에서 AR 은 토큰 수준의 활성화를 모니터링하여 이를 원자 명제로 매핑합니다.

• 활성화 점수 매기기: 각 토큰 $t$와 개념 $c$에 대해, 선택된 표현 유형 (예: $R_{multi}$의 경우 가중 특징 값 합산) 을 기반으로 활성화 점수 $a(c, t)$를 계산합니다.
• 명제 형성: 점수는 $\tau_c$에 대해 임계값 처리되어 활성화 행렬 $A$를 형성합니다. 이 행렬에는 다음이 포함됩니다:
  • 로컬 활성화 ($A_{local}$): 토큰 수준의 증거.
  • 글로벌 활성화 ($A_{global}$): 시퀀스 수준으로 집계된 증거로, 텍스트 구간 전체에 걸쳐만 나타나는 추상적 의미 (예: 풍자) 를 포착합니다.

3. 논리적 추론

사용자가 정의한 논리 규칙 ($L$) 이 활성화 행렬 $A$에 적용되어 고차원 구조를 추론합니다.

• 전방향 체이닝: 시스템은 이산화된 활성화에 규칙 (예: $Bridge \land San Francisco \land USA \rightarrow Golden Gate Bridge$) 을 반복적으로 적용합니다.
• 보강된 행렬: 이 과정은 직접 감지된 개념과 추론된 명제를 모두 포함하는 보강된 행렬 $A'$을 생성합니다. 이를 통해 시스템은 원래 SAE 사전에 없던 새로운 개념을 구성하고, 다중 홉 추론을 수행할 수 있습니다.

통합 및 제어

보강된 행렬 $A'$은 두 가지 목적으로 활용됩니다:

1. 분석: 모델 행동의 세밀한 검사, 특정 활성화로 인한 실패 추적, 그리고 안전 규칙 준수 평가.
2. 제어: 추론 중 직접 개입. AR 은 SAE 에서 파생된 디코더 가중치를 사용하여 특정 개념에 해당하는 잠재 활성화를 증폭하거나 억제함으로써 모델을 조종할 수 있습니다 (예: "Safe" 또는 "Red" 방향으로 조종).

주요 기여

1. 프레임워크: 논리적 명제를 잠재 SAE 특징에 기반하게 하고 명시적 규칙을 통한 구성적 추론을 가능하게 하는 방법인 ACTIVATIONREASONING (AR) 의 도입.
2. 벤치마크: 메타 수준 개념 설명 (예: 명시적인 "빨간색" 대신 "토마토처럼 색깔이 있는"과 같은 비유) 에 대한 추론을 위한 새로운 벤치마크 Rail2Country 제안.
3. 실증적 검증: 잠재 활성화가 구조화된 논리적 추론을 위한 실행 가능한 기반이 되며, 추론, 추상화, 그리고 안전 작업 전반에 걸쳐 투명성, 견고성, 그리고 제어를 향상시킨다는 증명.

실험 결과

저자들은 Llama-3.1-8B 와 Gemma-2-9B 백본을 대상으로 네 가지 설정에서 AR 을 평가했습니다:

• 다중 홉 추론 (PrOntoQA): AR 은 1, 3, 5 홉의 추론 과제를 93% 이상의 정확도로 해결했습니다. 더 큰 지시 미세 조정 모델이나 DeepSeek-R1 과 같은 추론 특화 모델을 포함한 베이스라인과 달리, AR 의 성능은 작업 복잡도가 증가함에 따라 저하되지 않았습니다.
• 메타 수준 추상화 (Rail2Country): R2C-Mono 설정 (명시적 색상) 에서 AR 은 베이스라인을 크게 능가했습니다. R2C-Meta 설정 (비유를 통해 설명된 색상) 에서는 기존 SAE 가 정확도 0% 로 무너지고 기본 LLM 이 약 30% 로 하락한 반면, AR 은 견고한 성능을 유지하여 Gemma-2-9B 에서 **86%**를 달성했습니다. 이는 명시적 어휘 단서와 암시적 의미 설명 사이의 간극을 성공적으로 연결했습니다.
• 자연어 추론 (ProverQA): AR 은 언어적 다양성에 대한 견고성을 보여주어, GPT-4o 와 DeepSeek-R1 을 포함한 모든 다른 모델이 50% 미만으로 떨어진 "Hard" 티어 문제에서 **약 70%**의 정확도를 달성했습니다.
• 안전 및 정렬 (BeaverTails): AR 은 14 가지 안전 차원 전반에서 균형 잡힌 정확도를 향상시켰습니다. 관계 표현 ($R_{relation}$) 이 전체적으로 가장 좋은 성능 (83.0%) 을 기록하여, 기본 SAE(57.9%) 와 단일/다중 특징 변형을 크게 능가했으며, 특히 추상적이고 문맥에 민감한 안전 개념에서 두드러졌습니다.

중요성과 주장

이 논문은 논리적 구조를 잠재 활성화에 기반하게 함으로써 추론 성능을 향상시키면서 동시에 투명성과 제어를 증가시키는 모델 중립적 메커니즘을 제공한다고 주장합니다. 주요 주장은 다음과 같습니다:

• 견고성: AR 은 추론 복잡성에 따라 견고하게 확장되며, 표준 LLM 은 물론 더 큰 모델조차 실패하는 추상적이고 문맥에 민감한 작업으로 일반화됩니다.
• 전이성: 이 접근법은 서로 다른 모델 백본 (Llama 와 Gemma) 간에 전이됩니다.
• 효율성: AR 은 Chain-of-Thought (CoT) 나 추론 특화 모델에 비해 최소한의 런타임 오버헤드를 발생시키는데, 이는 광범위한 토큰 생성을 통한 것이 아니라 활성화 공간에서 추론이 이루어지기 때문입니다.
• 감사 가능한 제어: 잠재 특징에서 파생된 이산 명제를 기반으로 작동함으로써, AR 은 재학습 없이 모델 행동을 직접 조종할 수 있는 안전 및 정렬을 위한 감사 가능한 메커니즘을 가능하게 합니다.

저자들은 AR 을 LLM 의 의미적 풍부함과 논리의 체계적 일반화를 통합하는 방향, 즉 더 신뢰할 수 있고 조종 가능하며 인간 가치와 정렬된 모델로 나아가는 한 걸음으로 위치시킵니다. 그들은 SAE 품질에 대한 의존성과 현재 수동으로 정의된 규칙에 대한 의존성과 관련된 한계를 인정하며, 자동화된 규칙 유도 및 확률적 추론에 대한 향후 연구를 제안합니다.