기술 요약: SliceGraph: 다중 실행 체인 오브 씽킹 추론에서의 프로세스 이성질체 매핑

문제 제기

자기 일관성 (self-consistency) 과 같은 현재 다중 실행 체인 오브 씽킹 (CoT) 추론 접근 방식은 일반적으로 $N$개의 샘플링된 궤적을 최종 답변만으로 집계합니다. 이러한 집계는 이러한 궤적이 중간 계산을 통해 어떻게 공유되고, 분할되며, 재결합하는지에 대한 내부 구조를 폐기합니다. 기존 내부 분석은 종종 단일 궤적 내의 의미적 수렴이나 단계별 기하학을 연구하는 "런 내 (within-run)" 분석에 머무르며, 동일한 문제에 대한 다중 실행 간의 결합 구조를 검토하지는 않습니다. furthermore, 이전 그래프 기반 파이프라인은 종종 슬라이스 유사성을 계산하기 위해 중간 투영 (예: PCA, UMAP, 문장 임베딩) 에 의존합니다. 저자들은 이러한 투영이 고유한 가족 수를 축소하거나 주제 포화로 인해 전체 지도를 붕괴시켜 추론의 진정한 다중 경로 구조를 흐리게 만든다고 주장합니다.

핵심 질문은 다음과 같습니다: 여러 CoT 가 동일한 문제를 올바르게 해결할 때, 그들은 단일 프로세스 경로로 수렴하는가, 아니면 동일한 최종 답변을 공유하지만 서로 다른 중간 경로를 통과하는 별도의 "프로세스 이성질체 (process isomers)"를 형성하는가?

방법론: SliceGraph

저자들은 샘플링된 CoT 의 프로세스 기하학을 매핑하는 사후 측정 객체인 SliceGraph(디코딩 프로그램이 아님) 를 제안합니다. 방법론은 다음 다섯 가지 계층으로 구성됩니다:

1. SliceGraph 구축 (발판)

• 입력: 주어진 문제 - 모델 셀에 대해 $N=64$개의 CoT 실행이 샘플링됩니다.
• 슬라이스 정의: 활성화는 32 토큰 행으로 집계된 후, 더 거친 추론 슬라이스 (표준 크기: 256 토큰, 8 행) 로 추가로 집계됩니다.
• 표현: 텍스트 임베딩이나 PCA 대신, 이 방법은 희소 활성화 키를 사용합니다. 각 슬라이스는 상위 $k$개의 활성 MLP 뉴런 (레이어 - 단위 쌍으로 식별됨) 의 이진 집합으로 표현됩니다.
• 그래프 구축: 노드는 슬라이스를 나타냅니다. 간선은 희소 활성화 키 집합의 **자카드 유사도 (Jaccard similarity)**에 기반한 상호-$k$NN을 통해 설정됩니다. 이는 추론 과정의 투영되지 않은 고차원 구조를 보존합니다.

2. 구조적 분해

• 이연결 성분 (Biconnected Components, BCCs): 그래프는 단일 노드를 제거한 후에도 연결된 최대 부분 그래프인 BCC 로 분해됩니다. 이들은 공유된 추론 상태를 나타냅니다.
• 절단점 (Articulation Points): BCC 를 연결하는 노드는 추론 집단이 분기하는 분기점 역할을 합니다.
• 역할 부여: 블록 (BCC) 은 실행 커버리지, 크기, 답변 순수성, 위치에 따라 (shared_trunk, answer_basin, decision_point 등) 역할이 부여됩니다.
• 검증: 두 개의 블라인드 주석 연구는 BCC 가 공유된 추론 상태에 대한 인간의 개념과 대응하며, 결과적으로 생성된 클러스터가 공유된 고수준 전략과 일치함을 확인했습니다.

3. 프로세스 가족 및 이성질체

• 클러스터링: 실행은 경미하지 않은 블록을 방문하는 집합에 기반하여 가중 자카드 유사도와 Louvain 커뮤니티 감지를 사용하여 **프로세스 가족 (Process Families)**으로 클러스터링됩니다.
• 프로세스 이성질체 정의: 두 개의 올바른 CoT 실행이 동일한 정규화된 최종 답변에 도달하지만 서로 다른 프로세스 가족에 속하는 경우, 이를 프로세스 이성질체로 정의합니다. 이는 동일한 솔루션에 도달하기 위해 서로 다른 중간 경로를 사용했음을 나타냅니다.

4. 라벨 시드 보상 필드

• 가치 지형을 분석하기 위해 고정된 그래프 구조 위에 보상 필드가 확산됩니다.
• 시딩: 해당 블록을 방문하는 실행의 초과 성공률에 기반하여 각 블록에 대한 시드 값이 계산됩니다.
• 확산: 이 시드는 PageRank 스타일의 확산 과정을 통해 전파됩니다.
• 고가치 핵심 (High-Value Cores): 양수 필드 값의 상위 4 분위수가 "고가치 핵심"을 정의합니다. 셀에 여러 개의 분리된 고가치 핵심이 있는 경우, 이를 "멀티코어 (multi-core)"로 간주합니다.

5. 타입드 상태 동역학

• 실행은 상태가 (블록 역할, 시간 구간, 핵심 소속) 로 정의된 타입드 상태 전이 모델로 승격됩니다.
• 가족 커널: 각 프로세스 가족에 대해 전이 커널이 추정됩니다.
• 분석: 저자들은 가족이 동일한 지도를 서로 다른 정적 상태를 방문하는 것뿐만 아니라 서로 다른 전이 커널을 사용하여 항해하는지 여부를 결정하기 위해, 이러한 커널들을 널 컨트롤 (라벨 셔플링) 에 대한 총변동 (TV) 거리와 비교합니다.

주요 결과

1. 구조적 유효성 및 표현

• 의미 정렬: 인간 주석가는 동일한 BCC 내의 슬라이스가 동일한 추론 연산을 나타낸다는 점 (88.9–90.3% 일치) 과 동일한 프로세스 가족 내의 실행이 동일한 고수준 전략을 사용한다는 점 (94.4% 일치) 을 확인했습니다.
• 발판 견고성: 투영되지 않은 희소 활성화 키 자카드 유사도가 결정적입니다. PCA 와 문장 임베딩 (MiniLM) 은 다중 경로 기하학을 붕괴시켜 유효 셀을 거의 0 으로 줄이거나 가족 수를 크게 축소했습니다.

2. 프로세스 이성질체의 보편성

• 다중 가족 보편성: 954 개의 문제 - 모델 셀 중 85.5% (수학/과학 벤치마크에서 세 가지 4B/8B 모델을 대상으로 함) 에서 올바른 CoT 가 여러 프로세스 가족으로 분할되었습니다.
• 이성질체율: 정규화된 올바른 실행 쌍 중 **76.6%**는 프로세스 이성질체 (서로 다른 가족에 속함) 입니다.
• 안정성: 이 현상은 분할 - 반쪽 재샘플링 하에서도 지속되며, 올바른 실행 수를 통제할 때에도 (예: $m=4$개의 올바른 실행에서 이성질체율은 58.2% 로 유지됨) 유효합니다.

3. 가치 지형 및 항해

• 멀티 베인 구조: 보상 평가가 가능한 셀의 **67.6%**가 여러 개의 분리된 고가치 핵심을 보입니다.
• 전문화: 프로세스 가족은 단순히 서로를 복제하지 않습니다. 그들은 서로 다른 고가치 핵심 발자국에 대해 전문화합니다. 전문화 점수 (가족의 발자국이 특정 핵심에 얼마나 집중되어 있는지를 측정) 는 평균 0.59입니다.
• 상이한 동역학: 가족별 전이 커널은 유의미하게 다릅니다. **80.9%**의 다중 가족 셀에서 가족 간의 전이 동역학은 널 분포 (라벨 셔플링) 를 초과하여, 가족들이 단순히 서로 다른 상태를 방문하는 것이 아니라 서로 다른 전이 커널을 사용하여 동일한 지도를 항해함을 나타냅니다.

4. 아키텍처 간 및 규모 재현

• 재현: 이러한 발견은 다른 아키텍처 (DeepSeek-R1-Distill-Llama-8B) 와 규모 (Qwen3-32B) 에서도 유효합니다.
• 규모화 효과: 더 큰 Qwen2.5-Math-72B 모델에서는 더 높은 정확도 포화 (더 결정론적 해결) 로 인해 다중 가족 비율이 감소 (67.3%) 하지만, 구조적 다양성이 존재할 때 정성적 기하학 (전문화, 상이한 동역학) 은 유지됩니다.

중요성 및 주장

이 논문은 최종 답변 집계가 구조화된 다중 경로 프로세스 기하학을 간과한다고 주장합니다. 추론 과정을 독립 샘플의 자루가 아닌 활성화 중첩의 그래프로 취급함으로써 SliceGraph 는 다음을 밝힙니다:

1. 프로세스 이성질체주의는 흔함: 동일한 문제에 대한 올바른 솔루션은 종종 근본적으로 다른 중간 경로 (프로세스 이성질체) 를 따릅니다.
2. 경로 가족은 구별됨: 이러한 이성질체는 무작위 변이가 아니라 가치 지형 (고가치 핵심) 의 서로 다른 영역에 전문화된 일관된 "프로세스 가족"을 형성합니다.
3. 항해 동역학이 다름: 이러한 가족들은 단순히 서로 다른 상태를 방문하는 것이 아니라, 서로 다른 전이 커널로 추론 지도를 항해합니다.

저자들은 SliceGraph 를 디코딩을 구동하는 도구가 아니라 프로세스 다양성, 붕괴, 과집중을 감사하기 위한 측정 객체로 위치시킵니다. 이 작업은 투영 기반 임베딩이 도입하는 왜곡을 피하고 활성화 키 유사성을 통해 다중 실행의 결합 구조를 분석함으로써 추론의 "형태"를 이해하는 것이 필요함을 시사합니다.