💬 NLP

J-CoT: Chain-of-Thought in J-Space

이 논문은 중간 상태를 "J-공간" 좌표계 내의 어휘 인덱스 기반 계수로 전파함으로써, 완전히 언어화된 추론 과정이나 조밀한 은닉 상태 재귀 없이도 효율적인 연산을 가능하게 하여 기존의 잠재 추론 방식들을 개선한 순환 추론 프레임워크인 J-CoT를 소개한다.

원저자: Junde Wu, Jiayuan Zhu, Fengling Liu, Minhao Hu, Jiazhen Pan

게시일 2026-07-27

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Junde Wu, Jiayuan Zhu, Fengling Liu, Minhao Hu, Jiazhen Pan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

생각하는 기계의 비밀 언어

당신이 아주 똑똑한 로봇에게 까다로운 퍼즐을 푸는 법을 가르치고 있다고 상상해 보세요. 과거에는 로봇에게 "생각을 소리 내어 말하게" 강요하는 것이 가장 좋은 방법이었습니다. 로봇은 최종 답을 내놓기 전에 자신의 추론 과정을 완벽한 영어 문장으로 하나하나 적어야 했습니다. 이것을 **사고 사슬(Chain-of-Thought)**이라고 부르는데, 이는 로봇의 속도를 늦춰 스스로 검토하게 함으로써 효과적으로 작동합니다. 하지만 여기에는 함정이 있습니다. 로봇에게 완전한 문장으로 말하도록 강요하는 것은, 마치 사람이 생각을 끝내기도 전에 자신의 내면 독백 전체를 친구에게 속삭이도록 요구하는 것과 같습니다. 이는 느릴 뿐만 아니라, 로봇이 단지 수학이나 논리를 수행해야 할 때 문법과 이야기 구성에 에너지를 낭비하게 만듭니다.

반대편 스펙트럼에서는, 어떤 과학자들은 로봇이 단계 사이에서 비밀스럽고 보이지 않는 신호를 주고받으며 완전히 침묵 속에서 생각하도록 시도했습니다. 이것을 **잠재적 추론(Latent Reasoning)**이라고 합니다. 이것은 더 빠르지만, 마치 수업 시간에 아무도 그 안에 어떤 정보가 중요한지 알 수 없을 정도로 밀도가 높고 지저밀한 코드로 적힌 쪽지를 전달하는 것과 같습니다. 로봇은 명확한 방식으로 생각을 정리할 방법 없이 숫자의 바다 속에서 길을 잃을 수 있습니다.

그래서 연구자들의 큰 질문은 이것입니다: 중간 지점이 있을까요? 로봇에게 모든 작은 아이디어를 완전한 문장으로 바꾸느라 시간을 낭비하지 않으면서도, 조직적이고 명확하게 생각을 전달할 수 있는 방법을 줄 수 있을까요? 이것이 바로 "J-COT: J-Space에서의 사고 사슬(J-COT: Chain-of-Thought in J-Space)"이라는 논문이 해결하고자 하는 문제입니다.

논문의 핵심 아이디어: "J-생각(J-Thought)"

저자들은 J-CoT(J-Chain-of-Thought)라는 새로운 방법을 소개합니다. 로봇에게 이야기를 쓰게 하거나 엉망진창인 데이터 덩어리를 전달하게 하는 대신, J-CoT는 J-생각이라는 영리한 중개인을 사용합니다.

로봇의 뇌를 수백만 권의 책이 있는 거대한 도서관이라고 생각해 보세요. 로봇이 생각할 때, 보통은 읽고 쓰기 위해 책 한 권(문장)을 통째로 꺼냅니다. 하지만 J-CoT는 단계 사이에서 로봇이 책 한 권을 통째로 꺼낼 필요는 없다고 제안합니다. 대신, 특정 페이지 번호와 강조 표시가 담긴 도서관 카드를 전달하기만 하면 됩니다.

그들의 "J-공간(J-space)" 시스템에서 작동 방식은 다음과 같습니다:

어휘 인덱스(The Vocabulary Index): 로봇의 어휘에 있는 모든 단어가 뇌 속의 고유한 주소를 가지고 있다고 상상해 보세요.
J-생각(The J-Thought): 한 단계의 사고가 끝날 때, 로봇은 문장을 쓰지 않습니다. 대신 자신의 뇌를 살펴보고 이렇게 말합니다. "나는 이 특정 단어 주소들과 관련된 개념들에 집중하고 있으며, 나의 집중도는 다음과 같다." 로봇은 이 단어 주소들에 부착될 짧은 숫자 리스트(계수)를 생성합니다.
전달(The Handoff): 이 리스트가 바로 J-생각입니다. 이것은 다음 단계로 전달됩니다. 문장이 아니기에 빠릅니다. 하지만 특정 단어들과 연결되어 있기 때문에 조직적이고 의미가 있습니다.
다음 단계(The Next Step): 로봇은 이 리스트를 가져와 자신의 뇌에서 "주소"를 찾아내고, 그 정보를 사용하여 생각을 이어갑나다. 이를 통해 로봇은 준비가 될 때까지 말하도록 강요받지 않고도, 자신의 완전하고 복잡한 뇌 안에서 모든 무거운 작업들을 수행할 수 있습니다.

연구 결과

연구진은 이 아이디어를 복잡한 수학 문제 풀이, 과학 질문 답변, 컴퓨터 코드 작성과 같은 매우 어려운 과제들에 테스트했습니다. 그들은 J-CoT를 기존의 "소리 내어 생각하기" 방식 및 "비밀 코드" 방식과 비교했습니다.

결과는 꽤 유망했습니다. 그들은 J-CoT-Zero(추가 훈련이 필요 없는 버전)가 이미 그들이 테스트한 최고의 "비밀 코드" 방식들과 대등하거나 때로는 더 낫다는 것을 발견했습니다. J-CoT는 수학 퍼즐부터 코딩 챌린지에 이르기까지 그들이 시도한 모든 벤치마크에서 최고 수준의 성능을 따라잡거나 능가했습니다.

더욱이, 이 "도서관 카드"를 읽고 쓰는 능력을 더 향상시키기 위해 J-CoT-Train이라는 버전을 훈련시켰을 때, 이 모델은 확실한 승자가 되었습니다. 이 모델은 그들이 테스트한 모든 수학, 과학, 코딩, 논리 과제에서 가장 높은 점수를 기록했습니다. 예를 들어, MATH-500이라는 까다로운 수학 테스트에서 이 훈련된 버전은 이전 최고 점수인 50.4%에서 54.0%로 뛰어올랐습니다.

이것이 왜 중요한가 (그리고 무엇이 아닌가)

이 논문은 이 "J-공간" 인터페이스가 최적의 접점임을 시사합니다. 이는 로봇이 명확하게 생각하게 만들기 위해 완전한 문장으로 말하도록 강요할 필요가 없으며, 동시에 보이지 않는 숫자의 안개 속에서 방황하게 둘 필요도 없다는 것을 증명합니다. 어휘 인덱스 기반의 리스트를 사용함으로써, 로봇은 문법의 오버헤드 없이 생각을 조직적으로 유지할 수 있습니다.

하지만 저자들은 이것이 모든 것을 영원히 해결할 마법의 탄환이라고 주장하는 데는 주의를 기울입니다. 그들은 자신들의 결과가 특정 테스트와 모델을 바탕으로 하고 있음을 언급합니다. 또한 "J-생각"이 훌륭한 중간 지점이기는 하지만, 로봇은 여전히 자신의 뇌 내부에서 무거운 연산을 수행해야 하며, J-생각은 단지 메신저일 뿐이라는 점도 지적합니다.

요약하자면, 이 논문은 로봇이 단계 사이에서 생각을 전달하는 방식을—전체 문장에서 스마트한 단어 기반 리스트로—바꿈으로써, 우리가 더 어렵고 복잡한 문제를 해결하는 데 있어 로봇을 더 똑똑하고, 빠르고, 효율적으로 만들 수 있다는 것을 시사합니다. 이는 붐비는 방에서 메시지를 전달하기 위해 문단 전체를 외치거나 비밀 코드를 속삭일 필요 없이, 적절한 키워드가 적힌 표지판을 들어 올리기만 하면 된다는 사실을 깨닫는 것과 같습니다.

기술 요약: J-CoT: J-공간에서의 사고의 사슬(Chain-of-Thought)

1. 문제 정의

대규모 언어 모델(LLM)은 현재 반복적 추론을 위해 두 가지 주요 패러다임에 의존하고 있으나, 두 방식 모두 한계를 보입니다:

명시적 사고의 사슬 (Explicit CoT): 이 접근 방식은 자연어를 반복 인터페이스로 사용합니다. 효과적이긴 하지만, 모든 중간 상태를 이산적인 토큰으로 직렬화하도록 강제합니다. 이는 모델이 다음 추론 단계에 불필요한 경우에도 문법적 형태, 담화의 연속성, 그리고 명시적인 설명을 확정하도록 만듭니다. 즉, 사이클 간에 전달되는 상태를 특정 언어적 해석으로 제한합니다.
밀집 잠재 추론 (Dense Latent Reasoning): Coconut과 같은 방법은 계산 단계 사이에 연속적인 은닉 상태(hidden states)를 전파하여 언어화 과정을 피합니다. 그러나 이 방법들은 밀집된 은닉 벡터 전체를 전달합니다. 이 인터페이스는 다음 추론 단계에 필요한 특정 정보를 선택하고 조직하는 명시적인 메커니즘이 부족하며, 잠재적으로 무관하거나 구조화되지 않은 노이즈를 운반할 위험이 있습니다.

본 논문은 언어적으로 근거가 있으면서도(linguistically grounded) (모델의 어휘에 닻을 내리고 있음) 비문장적인(non-sentential) (문장을 디코딩할 필요가 없는) 중간 인터페이스의 필요성을 제기합니다. 이를 통해 사이클 내에서는 완전한 은닉 공간 계산을 허용하면서도, 재귀를 위한 구조화된 상태를 제공하고자 합니다.

2. 방법론: J-CoT

저자들은 모델의 은닉 표현으로부터 유도된 어휘 인덱스 좌표계인 J-공간(J-space) 내에서 작동하는 재귀적 추론 프레임워크인 J-CoT를 소개합니다.

2.1 핵심 개념: J-사고 (J-Thought)

J-CoT는 디코딩된 토큰이나 밀집 벡터를 전달하는 대신, J-사고: 즉, 어휘 인덱스 기반의 계수 상태를 전달합니다.

J-공간 구축: 이 방법은 평균화된 다운스트림 자코비안(Jacobian)을 통해 최종 레이어의 어휘 방향을 역추적함으로써 각 레이어 $\ell$ 에 대한 딕셔너리를 구축합니다. 이를 통해 서로 다른 레이어 기하학 구조 간에 공유되는 어휘 인덱스를 생성합니다.
추출 및 재구성:
- 쓰기 (추출): 지정된 쓰기 레이어(write layer)에서, 모델은 탄성 넷(elastic-net) 분해를 사용하여 특정 "캐리어(carrier)" 위치로부터 J-공간 딕셔너리에 대한 비음수 계수를 추출합니다. 이는 J-사고 행렬 $A_t$ 를 형성합니다.
- 읽기 (재구성): 지정된 읽기 레이어(read layer)에서, 이 계수들을 읽기 레이어 딕셔너리를 사용하여 잔차 스트림(residual stream)으로 재구성합니다. 학습된 읽기 게이트(read gate)가 이 상태와 프롬프트 조건부 베이스라인의 통합을 조절합니다.
캐리어 위치 (Carrier Positions): 모델은 입력에 $M$ 개의 비언어적 캐리어 위치를 추가합니다. 이 위치들은 표준 셀프 어텐션 및 피드포워드 계산에 참여하지만, 결코 디코딩되지 않습니다. 이들은 J-사고를 위한 읽기/쓰기 위치 역할을 합니다.

2.2 재귀 메커니즘

J-CoT 사이클은 다음과 같이 작동합니다:

초기화: 프롬프트와 중립 캐리어 임베딩이 읽기 레이어로 전파됩니다.
읽기: 이전의 J-사고가 읽기 레이어에서 재구성되어 캐리어 활성화 함수에 게이트 방식으로 통합됩니다.
계산: 캐리어와 프롬프트가 밀집되고 제한 없는 은닉 표현을 사용하여 중간 트랜스포머 레이어(읽기 레이어에서 쓰기 레이어까지)를 통과합니다.
쓰기: 쓰기 레이어에서, 새로운 계수를 캐리어 활성화로부터 추출하여 다음 J-사고를 형성합니다.
종료: J-사고가 안정화되거나(프로베니우스 노름의 변화가 낮음) 최대 사이클 예산에 도달하면 재귀가 중단됩니다. 최종 상태는 정답의 자기회귀적 디코딩을 조건화합니다.

2.3 구성 (Configurations)

J-CoT-Zero: 고정된 인터페이스 구성 요소(평균 사전 학습된 임베딩, 단위 읽기 강도)를 사용하는 학습이 필요 없는 설정입니다. J-CoT를 위한 별도의 최적화가 필요하지 않습니다.
J-CoT-Train: 캐리어 임베딩과 읽기 게이트를 최적화하면서 기존의 트랜스포머와 J-렌즈(J-lens) 딕셔너리는 동결 상태로 유지하는 학습 가능한 변형입니다.

3. 주요 기여

J-CoT 프레임워크: 명시적 언어적 추론과 밀집 잠재 재귀 사이의 간극을 메우며, 어휘 인덱스 기반의 J-사고 상태를 사이클 간에 전달하는 재귀적 추론 프레임워크를 도입했습니다.
모델 네이티브 읽기-쓰기 메커니즘: J-공간 좌표를 활용하여 디코딩된 근거(rationale)나 전체 은닉 상태의 재귀 없이 상태를 운반하는 메커니즘을 개발했습니다. 이를 통해 모델이 자연어로 표현하기 어려운 정보를 보존하면서도 구조화된 인터페이스를 유지할 수 있게 합니다.
실증적 검증: 수학적 추론, 과학적 질의응답, 코드 생성 및 구조적 경로 추론을 포함한 8개의 벤치마크를 통해 포괄적인 평가를 수행하여, J-CoT가 강력한 베이스라인들과 대등하거나 이를 능가함을 입증했습니다.

4. 실험 결과

실험은 Qwen3-8B-Base 백본을 기반으로 수행되었으며(더 큰 모델로 확장 가능), GSM8K, MATH-500, AIME 2024, GPQA-Diamond, HumanEval+, MBPP+, LiveCodeBench, CRUXEval의 8개 벤치마크에서 진행되었습니다.

베이스라인 대비 성능:
- J-CoT-Train은 평가된 모든 작업에서 가장 높은 점수를 기록했으며, 가장 강력한 잠재 추론 베이스라인인 SIM-Coconut을 평균 2.7 퍼센트 포인트(50.2% vs. 47.5%) 차이로 앞질렀습니다.
- J-CoT-Zero (학습 불필요 설정)는 모든 벤치마크에서 SIM-Coconut과 대등하거나 이를 능가하였으며, J-CoT 특유의 최적화 없이도 평균 점수를 **47.9%**로 높였습니다.
- 두 J-CoT 변형 모두 표준 언어적 CoT 및 PS+ 베이스라인보다 유의미하게 높은 성능을 보였습니다.
스케일링 (Scaling): J-CoT는 모델 용량(7B에서 405B 파라미터까지)과 추론 깊이(적응형 사이클 예산) 모두에서 긍정적인 스케일링을 보여줍니다. 더 큰 모델일수록 추가적인 추론 사이클로부터 더 많은 이득을 얻습니다.
인터페이스 스펙트럼: 밀집 잠재 상태( $\lambda=0$ ), J-사고( $\lambda=0.5$ ), 명시적 언어 상태( $\lambda=1$ ) 사이의 보간 실험 결과, 비단조적(non-monotonic) 경향이 나타났습니다. 성능은 J-CoT 구성( $\lambda=0.5$ )에서 정점을 찍었으며, 이는 J-CoT가 (명시적 CoT와 달리) 대안적 추론 경로를 보존하고 (밀집 잠재 방식과 달리) 잘못된 경로의 지속성을 줄이는 최적의 균형을 제공함을 시사합니다.
절제 연구 (Ablations): J-사고 읽기를 제거하거나 J-사고를 단일 캐리어로 축소했을 때 성능이 크게 저하되었으며, 이는 다중 캐리어 및 어휘 인덱스 설계의 필요성을 입증합니다.

5. 의의 및 주장

본 논문은 J-CoT가 모델 네이티브 재귀 인터페이스가 완전히 언어화된 방식과 완전히 밀집된 방식 모두에 대한 우월한 대안이 될 수 있음을 보여준다고 주장합니다.

언어화 없는 언어적 근거: 결과는 어휘 인덱스 기반의 좌표계(J-공간)가 중간 텍스트를 생성하는 오버헤드 없이 내부 계산을 추출하고 재사용할 수 있게 한다는 가설을 뒷받침합니다.
효율성 및 구조화: 매 단계마다 특정 언어적 해석을 확정하지 않음으로써, J-CoT는 명시적 CoT보다 불확실하거나 분산된 계산을 더 효과적으로 운반할 수 있게 하며, 동시에 어휘 인덱싱을 통해 밀집 잠재 방식에는 없는 선택 메커니즘을 제공합니다.
학습 불필요의 잠재력: J-CoT-Zero의 강력한 성능은 사전 학습된 트랜스포머가 이미 사용 가능한 J-공간 좌표계를 포함하고 있으며, 이러한 재귀적 능력을 활용하기 위해 추가 학습이 필요하지 않음을 시사합니다.

저자들은 J-CoT가 이러한 인터페이스에 대한 심층적인 연구를 촉발하며, 대규모 언어 모델에서 더 효율적이고 구조화된 추론을 위한 경로를 제시한다고 결론짓습니다.