상상해 보세요. 거대하고 얼어붙은 지식의 도서관이 있다고 말입니다. 이 도서관에서 모든 개념 (예: "사과", "정의", 또는 "단백질") 은 페이지 위의 단어가 아니라, 고유한 다차원의 색깔이나 모양으로 존재합니다. 이 도서관은 인터넷 전체를 읽은 거대 AI 가 구축한 것이며, "얼어붙었다"는 말은 도서관이 완성된 후 색깔과 모양이 결코 변하지 않는다는 뜻입니다.

문제는 다음과 같습니다: 이 색깔들로 어떻게 수학이나 논리를 수행할 수 있을까요? 표준 규칙 (논문에서 언급된 "해다마드 곱"과 같은) 을 사용하여 이 색깔들을 섞으려 하면, 색깔들이 탁해져 더 이상 구별할 수 없게 됩니다. 마치 빨간색과 파란색 물감을 섞어 보라색을 얻으려 했다가, 오히려 방 안의 다른 모든 색깔과 구별되지 않는 탁한 갈색만 얻는 것과 같습니다.

Sutra는 이 문제를 해결하는 새로운 도구입니다. Sutra 는 논리 규칙을 작성할 수 있게 해주는 프로그래밍 언어이지만, 일반적인 컴퓨터 프로세서에서 실행되는 대신, 그 규칙들을 얼어붙은 도서관 내부의 이러한 "색깔들" (벡터) 에 직접 작동하는 단일의 초고효율 기계로 컴파일합니다.

다음은 Sutra 가 작동하는 방식을 간단한 개념으로 분해한 것입니다:

1. "마법 같은 회전" (바인딩)

이전 방식에서는 두 개념을 섞는 것이 마치 그들을 부숴서 합치는 것과 같아 혼란을 초래했습니다. Sutra 는 **회전 바인딩 (Rotation Binding)**이라는 트릭을 사용합니다.

비유: 모든 개념이 고유한 "열쇠" (역할) 를 가지고 있다고 상상해 보세요. 특정 세부 사항 ("채움") 을 그 열쇠에 부착하기 위해 Sutra 는 그들을 부수지 않습니다. 대신 세부 사항을 자물쇠에 열쇠를 꽂아 돌리듯이 회전시킵니다.
작동 원리: 도서관이 얼어있고 회전이 수학적으로 완벽하기 때문에, 다른 세부 사항들과 섞여 있더라도 열쇠를 다시 돌려 원래 세부 사항을 꺼낼 수 있습니다. 논문은 이것이 텍스트뿐만 아니라 단백질 서열 (생물학) 에서도 완벽하게 작동함을 증명했으며, 이전의 "부수는" 방식은 완전히 실패했음을 보여줍니다.

2. "부드러운 논리" (퍼지 수학)

일반적으로 컴퓨터는 엄격한 "예/아니오" 또는 "켜기/끄기" 스위치로 생각합니다. 하지만 도서관의 "색깔들"은 완벽하지 않으며, 다소 흐릿합니다.

비유: 조명 스위치 대신 디머 스위치를 상상해 보세요. Sutra 는 논리를 부드러운 슬라이더처럼 취급하는 특수한 수학 (다항식) 을 사용합니다. 이는 "아마도" (0), "참" (+1), "거짓" (-1) 을 깨뜨리지 않고 처리할 수 있습니다.
마법: 논문은 Sutra 가 이러한 퍼지 논리 규칙을 단일하고 부드러운 수학적 공식으로 변환함을 보여줍니다. 이는 컴퓨터가 논리를 단순히 실행할 뿐만 아니라, 그것으로부터 학습할 수 있음을 의미합니다.

3. "한 단계 기계" (컴파일)

일반적으로 루프 (반복 단계) 나 "if-then" 결정을 포함하는 프로그램을 작성하면, 컴퓨터는 그 규칙들을 하나씩 확인해야 하므로 속도가 느립니다.

비유: Sutra 는 당신의 레시피 (프로그램) 를 가져와서 당신이 앉기도 전에 한 번에 먹을 수 있는 단일의 준비된 블록으로 전체 요리를 미리 조리하는 마스터 셰프와 같습니다.
결과: 프로그램을 실행할 때 실시간으로 "if" 확인이나 "while" 루프가 발생하지 않습니다. 컴퓨터는 하나의 거대하고 연속적인 수학 흐름을 수행할 뿐입니다. 역을 멈추지 않는 기차처럼 시작부터 끝까지 미끄러져 가는 것과 같습니다.

4. 학습과 "가독성 있는" 코드

Sutra 가 수행하는 가장 놀라운 일 중 하나는 학습입니다.

비유: 일반적으로 신경망이 학습하면, 인간이 읽을 수 없는 숫자의 덩어리인 "블랙박스"가 됩니다. Sutra 는 다릅니다. 논리가 더 잘 작동하도록 "이득" 또는 볼륨 노브와 같은 단일 숫자를 조정할 수 있습니다.
반전: 컴퓨터가 그 노브에 대한 완벽한 설정을 학습한 후, Sutra 는 그 숫자를 가져와 원본 코드에 단순한 숫자로 다시 작성합니다.
중요성: 당신은 신비로운 블랙박스를 얻는 것이 아니라, "이 논리를 수행하되, 결과를 1.43 배로 곱하라"고 말하는 깔끔하고 읽을 수 있는 프로그램을 얻습니다. 학습된 모델은 여전히 인간이 읽을 수 있는 텍스트 조각입니다.

5. "사전" (코드북)

컴퓨터가 "색깔들" (벡터) 만 이해한다면, 어떻게 인간과 소통할 수 있을까요?

비유: Sutra 는 내장된 사전 (코드북) 을 가지고 있습니다. "사과"와 같은 단어를 입력하면 컴파일러는 프로그램이 시작되기 전에 즉시 그것을 "색깔"로 번역합니다. 프로그램이 완료되면 결과 "색깔"을 보고 사전에서 가장 가까운 단어를 찾아 인간이 읽을 수 있는 답변으로 돌려줍니다.

논문이 실제로 증명한 것

논문은 Sutra 가 아직 질병을 치료하거나 주가를 예측할 수 있다고 주장하지 않습니다. 대신 세 가지 구체적인 사실을 증명합니다:

다른 도서관에서도 작동함: 코드를 변경하지 않고 텍스트 (책과 같은) 와 생물학 (단백질과 같은) 에서 동일한 논리 프로그램을 성공적으로 실행했습니다.
구식 방법을 능가함: 이러한 얼어붙은 도서관에서 Sutra 의 "회전" 방식은 100% 정확도로 정보를 검색할 수 있었지만, 이전의 "부수는" 방식은 완전히 실패하여 거의 무작위 추측 수준으로 떨어졌습니다.
학습하고 가독성을 유지함: 그들은 처음부터 간단한 분류기 (단어를 범주로 분류하는 프로그램) 를 학습시켰습니다. 이는 무작위 추측으로 시작하여 100% 정확도로 학습했으며, 최종 결과는 특정 숫자가 내장된 깔끔하고 읽을 수 있는 코드 조각이었습니다.

요약하자면, Sutra 는 현대 AI 의 "얼어붙은 뇌" 내부에서 직접 실행되는 논리 규칙을 작성할 수 있게 해주는 다리 역할을 하여, 이를 빠르고 학습 가능하며 인간이 읽을 수 있는 기계로 변환합니다.

기술 요약: Sutra: 벡터 심볼 아키텍처를 위한 컴파일 대상으로서의 텐서 연산 순환 신경망

문제 제기

벡터 심볼 아키텍처 (VSA) 는 전통적으로 통제된 무작위 분포에서 추출된 고차원 벡터에 의존하며, 바인딩을 위해 해다마드 곱 (원소별 곱셈) 또는 원형 합성과 같은 연산을 사용합니다. 그러나 현대의 "동결된" 대규모 언어 모델 (LLM) 임베딩은 이러한 가정을 따르지 않습니다. 이러한 임베딩은 이방성을 띠어 벡터 공간 내의 좁은 원뿔에 집중되는데, 이는 코사인 유사도를 압축하고 여러 항목을 번들링할 때 파괴적인 크로스토크로 인해 해다마드와 같은 표준 바인딩 연산이 실패하게 만듭니다.

또한, 기존 신경 - 심볼 시스템은 종종 이단계 아키텍처를 따릅니다. 즉, 신경 모델이 이산 심볼을 추출한 후 별도의 심볼 추론기가 이를 처리합니다. 이는 연속 임베딩 공간과 이산 논리 계층 간의 단절을 초래합니다. 제어 흐름, 논리, 그리고 입출력이 모두 단일 미분 가능 텐서 연산 그래프로 컴파일되는 완전한 프로그래밍 언어를 위해 연속 임베딩 공간을 주요 기질로 삼는 시스템은 부재합니다.

방법론

본 논문은 고정된 임베딩 기질 위에서 작동하는 PyTorch 신경망으로 컴파일되도록 특별히 설계된 타입이 지정된 순수 함수형 프로그래밍 언어인 Sutra를 소개합니다. 핵심 방법론은 표준 VSA 연산과 제어 흐름 메커니즘을 대체하는 네 가지 통합 원시 연산으로 구성됩니다:

다항식 퍼지 논리: 표준 퍼지 논리에서 사용되는 비미분 가능한 min/max 연산자 (Gödel t-norms) 대신, Sutra 는 클레이네의 3 값 논리 (진리값: $+1, 0, -1$ ) 를 위해 라그랑주 보간 다항식을 사용합니다. 이러한 다항식은 이산 $\{-1, 0, +1\}$ 그리드에서는 정확하지만 그 외에서는 $C^\infty$ (매끄러운) 이므로, 텐서 그래프 내에서 논리적 연결사 (AND, OR, NOT) 를 통한 기울기 흐름을 가능하게 합니다.
텐서 그래프로의 베타-축약: Sutra 컴파일러는 표준 라이브러리 정의를 인라인화하고 대수적 표현을 단순화하는 공격적인 베타-축약을 수행합니다. 그 결과, 이름이 지정된 바인딩, 함수 호출, 또는 Python 제어 흐름이 없는 기질 순수 텐서 연산 그래프가 생성됩니다. 조건문은 소프트-멀렉스 (soft-mux) 다항식으로 낮아지고, 루프는 소프트-할트 RNN 셀로 컴파일됩니다.
회전 바인딩: 고정된 LLM 임베딩의 이방성 문제를 해결하기 위해, Sutra 는 해다마드 곱을 Haar-직교 회전 바인딩으로 대체합니다. 역할별 직교 행렬 $R_{role}$ 은 콘텐츠 해시를 통해 생성되어 채우기 벡터에 적용됩니다 ( $bind(role, filler) = R_{role} \times filler$ ). 이 연산은 이방성 기질에서도 역전 가능하고 조건이 잘 잡혀 있습니다.
꼬리 재귀 루프를 RNN 으로: 루프는 꼬리 재귀 함수 선언으로 표현됩니다. 컴파일러는 이러한 루프를 상태 벡터가 고정된 너비를 갖는 소프트-할트 RNN 셀로 낮춥니다. "할트" 신호는 헤비사이드 조건의 누적 단조 합을 통해 계산되어, Python 레벨의 분기 없이 루프가 상태를 고정할 수 있게 합니다.

이 시스템은 문자열 리터럴을 임베딩에 매핑하고 출력에서 최근접 이웃 문자열을 디코딩하기 위해 .sdb 파일로 저장된 컴파일 시간 코드북을 활용하여, 순전파 중 호스트 측 사전 조회 없이 문자열 입출력에 대한 루프를 닫습니다.

주요 기여

본 논문은 네 가지 구체적인 기술적 기여를 제시합니다:

라그랑주 보간을 통한 미분 가능 논리: 클레이네 그리드에서는 정확하지만 그 외 모든 곳에서 미분 가능한 다항식 연결사의 도출로, 신경 - 심볼 컨텍스트에서 표준 퍼지 논리 연산자와 관련된 기울기 흐름 문제를 해결합니다.
기질 순수 컴파일: 고수준 함수형 언어를 호스트 측 제어 흐름이 없는 단일 융합 텐서 그래프 (행렬 곱셈, 원소별 연산, 비선형) 로 축소하는 컴파일러 파이프라인으로, 전체 프로그램이 입력과 학습 가능한 매개변수의 미분 가능 함수임을 보장합니다.
이방성 기질을 위한 회전 바인딩: 고정된 LLM 임베딩 (텍스트 및 단백질 모델) 에서 회전 기반 바인딩이 해다마드 바인딩보다 성능이 우수하다는 실증적 검증으로, 해다마드 바인딩이 우연 수준으로 무너지는 번들 너비에서도 100% 디코딩 정확도를 유지합니다.
가독성 있고 재컴파일 가능한 훈련된 모델: 훈련된 매개변수 (특히 스칼라 게인) 를 수치 리터럴로 소스 코드에 다시 포함시킬 수 있음을 시연합니다. 이를 통해 훈련된 모델은 불투명한 체크포인트가 아닌, 훈련된 동작을 높은 정밀도로 재현하는 재컴파일 가능하고 인간이 읽을 수 있는 Sutra 프로그램으로 표현될 수 있습니다.

결과

본 논문은 두 가지 주요 실험 축을 통해 접근법을 검증합니다:

교차 기질 용량: 세 가지 텍스트 인코더 (nomic-embed-text, all-minilm, mxbai-embed-large) 와 하나의 단백질 언어 모델 (ESM-2) 로 구성된 네 가지 고정된 기질에서 실험이 수행되었습니다.
- 회전 바인딩: 모든 기질에서 너비 $k=8$ 에서 번들링된 레코드를 디코딩할 때 100% 정확도를 달성했습니다.
- 해다마드 바인딩: 동일한 너비에서 mxbai-embed-large에서는 정확도가 **2.5%**로, all-minilm에서는 **7.5%**로 크게 붕괴되었습니다.
- 잡음 누적: 단일 사이클 레코드에서는 정확도가 100% 를 유지했으나, 체인 길이 $L=8$ 까지 우연 수준으로 저하되어 현재 구현의 검증된 영역을 정의했습니다.
종단 간 미분 가능 훈련:
- Sutra 로 작성된 퍼지 규칙 분류기가 무작위 초기화 (정확도 $\approx 18.7\%$ , 우연 = 20%) 에서 표준 PyTorch 역전파를 사용하여 30 에포크 동안 100.0% 정확도로 훈련되었습니다.
- 재구현 없이 컴파일된 텐서 그래프 (유사도 $\to$ 라그랑주 - 클레이네 다항식 $\to$ 교차 엔트로피) 를 통해 기울기가 흐르는 것이 확인되었습니다.
- 가중치 변형은 임베딩 이방성을 상쇄하기 위해 스칼라 게인 $w$ 를 훈련했습니다. 훈련된 모델은 소스 코드 (예: 1.431431 * similarity(...)) 로 성공적으로 "구워져" 다시 포함되었으며, 이 소스를 재컴파일하면 최대 차이 $\approx 2 \times 10^{-7}$ 로 훈련된 로짓을 재현했습니다.

중요성과 주장

본 논문은 Sutra 가 신경 - 심볼 컴퓨팅 및 미분 가능 프로그래밍의 풍경에서 새로운 위치를 차지한다고 주장합니다. 그 중요성은 단일 아티팩트 내에서 논리와 학습의 통합에 있습니다:

아티팩트 형태: Python 스크립트에 원시 연산을 노출하는 라이브러리 (예: TorchHD) 나 지각과 추론을 분리하는 신경 - 심볼 언어 (예: Scallop, DeepProbLog) 와 달리, Sutra 는 제어 흐름과 문자열 입출력을 포함한 전체 프로그램을 단일 융합 텐서 연산 그래프로 컴파일합니다.
기질 무관성: 이 아키텍처는 특정 임베딩 모델에 묶여 있지 않으며, 밀도 벡터 표현을 생성하는 어떤 네트워크든 대상으로 삼을 수 있습니다. 이는 동일한 소스 코드를 텍스트 및 단백질 임베딩 모두에 성공적으로 이식함으로써 입증되었습니다.
가독성: 소스 리터럴로 다시 작성될 수 있는 매개변수를 훈련함으로써, 이 시스템은 블랙박스 신경 가중치와 해석 가능한 논리 프로그램 간의 간극을 메웁니다. 훈련된 모델은 "블롭"이 아닌 재컴파일 가능한 프로그램입니다.

저자들은 명시적으로 이 작업이 다른 시스템에 대한 일반화 벤치마크가 아니라, 컴파일된 그래프를 통한 "소스 - 훈련 왕복" 및 기울기 흐름의 검증임을 밝힙니다. 현재 시스템은 단일 사이클 레코드와 특정 고정 기질로 제한되며, 깊은 중첩 레코드와 임의의 임베딩 모델은 향후 과제로 식별되었습니다.

Sutra: Tensor-Op RNNs as a Compilation Target for Vector Symbolic Architectures