💻 computer science

An External Structured Memory Architecture for Language Modeling beyond Probabilistic Fitting

이 논문은 효율성과 해석 가능성을 향상시키기 위해 파라미터 메모리를 외부 구조화된 메모리로 대체하는 언어 모델링 아키텍처를 제안하지만, 중국어 데이터에 대한 실험 결과는 이러한 접근 방식이 도메인 보정을 통해 완만한 검색 이득을 얻기는 하나 궁극적으로 전통적인 모델의 정확도를 따라잡는 데 실패하며, 이로 인해 주요 장점이 성능보다는 감사 가능성 측면으로 제한됨을 보여준다.

원저자: Yang Liu

게시일 2026-10-09

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yang Liu

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능의 세계에서 오늘날 우리가 가진 가장 강력한 도구들은 단순하지만 무거운 하나의 아이디어, 즉 패턴을 암기함으로써 학습한다는 원리에 기반하여 구축되었습니다. 수백만 권의 책을 읽은 뒤, 그 안에 담긴 사실을 진정으로 이해하지 못한 채 이전에 보았던 것들을 회상하며 질문에 답하려는 학생을 상상해 보십시오. 이것이 현대 언어 모델이 작동하는 방식입니다. 이들은 방대한 양의 정보를 복잡한 내부 설정, 즉 파라미터(매개변수)라는 웹 속에 압축합니다. 이러한 접근 방식은 놀라운 유창성을 가져다주었지만, 숨겨진 비용도 수반합니다. 시스템은 모든 단어를 다른 모든 단어와 대조해야 하기에 느리고, 새로운 사실을 추가할 때 종종 처음부터 다시 배워야 하므로 업데이트하기 어려우며, 특정 지식이 정확히 어디에 저장되어 있는지 또는 기계가 왜 특정 답변을 선택했는지 알 수 없기에 신뢰하기 어렵습니다. 과학자들은 오랫동안 지식을 압축된 기억이 아닌 구조화된 도서관처럼 다룸으로써, 더 명확하고 안전하며 효율적인 추론을 가능하게 하는 더 나은 방식의 지능을 구축하는 방법에 대해 고민해 왔습니다.

양 리우(Yang Liu)라는 독립 연구자에 의한 최근 연구는 기억을 모델의 내부 두뇌에서 외부의 조직된 저장소로 옮기는 새로운 아키텍처를 제안함으로써 이 대안적인 경로를 탐구합니다. 지식을 기계의 가중치 안에 집어넣으려 노력하는 대신, 이 설계는 사실들을 모델이 읽을 수는 있지만 변경할 수는 없는 구조화된 데이터베이스에 보관합니다. 이 시스템은 5개의 층으로 이루어진 서류 보관함처럼 구축되었습니다. 하위 층들은 지식의 한 조각이 무엇인지, 그리고 그것이 다른 것들과 어떻게 연결되는지를 정의하며, 상위 층들은 이러한 연결이 어떻게 진화하는지를 추적하고 전체 구조가 일관성을 유지하는지 검증합니다. 정보를 찾기 위해 시스템은 단순히 일치하는 단어를 찾는 것이 아니라, 위상 불변량(topological invariants)이라는 수학적 개념을 사용하여 정보의 형태와 구조에 기반한 고유한 '시그니처'를 생성합니다. 이 시그니처를 정보의 내용보다는 그 형태를 설명하는 지문이라고 생각하십시오. 연구진은 이러한 구조적 접근 방식이 실제로 표준적인 방법들보다 더 나은 정보를 검색할 수 있는지 테스트했습니다.

이 실험의 결과는 정직했으며, 여러 면에서 놀라웠습니다. 연구진은 중국어로 작성된 541개의 구조화된 항목이 담긴 데이터베이스를 대상으로 이 시스템을 테스트했습니다. 그들은 구조적 시그니처가 서로 다른 항목들을 구별할 수는 있었지만, 올바른 항목을 찾아내는 데는 그리 뛰어나지 않다는 것을 발견했습니다. 시스템이 구조적 형태만을 기반으로 항목을 검색하려고 했을 때, 성공률은 약 17.6퍼센트에 불과했습니다. 반면, 단순히 일치하는 단어를 찾는 표준 방식은 92.2퍼센트의 성공률을 보였습니다. 또한 연구는 구조적 시그니처를 수학적 설명의 차원을 더 추가하여 더 복잡하게 만드는 것이 큰 도움이 되지 않는다는 점을 보여주었습니다. 즉, 추가된 복잡성은 검색 과정에 거의 아무런 가치를 더하지 못했습니다. 나아가, 구조를 사용하여 결과를 먼저 필터링한 후 단어를 확인하는 2단계 프로세스는 두 방법을 동시에 결합했을 때보다 오히려 성능이 떨어졌습니다. 이러한 결과는 적어도 현재의 설계로는, 단순히 올바른 사실을 찾는 것이 목표일 때 구조적 형태에 의존하는 것이 전통적인 단어 매칭을 대체할 수 있는 실행 가능한 방법이 아님을 시사합니다.

하지만 이 연구는 작동하는 한 가지 구체적인 개선 사항을 찾아냈습니다. 연구진은 검색 과정에 '도메인 캘리브레이션(domain calibration)'이라 불리는 최종 단계를 추가했는데, 이는 동일한 주제 범주에 속하지 않는 항목들의 점수를 낮추는 부드러운 필터 역할을 합니다. 이 조정 작업은 보수적으로 설계되어 잘못된 연결을 절대 만들어내지 않으며, 구조적 검색의 성공률을 17.6퍼센트에서 24.9퍼센트로 끌어올렸습니다. 이는 상당한 상대적 이득(41퍼센트 증가)이지만, 절대적인 성공률은 여전히 표준 단어 매칭보다 훨씬 낮습니다. 연구진은 또한 시스템이 어떻게 진화하고 스스로를 검증하는지를 규정하는 복잡한 수학 방정식이 의도한 대로 작동함을 확인했습니다. 즉, 이 방정식은 안정적이며, 오류를 증폭시키지 않고, 다양한 종류의 평균값을 올바르게 정렬합니다.

궁극적으로, 이 논문은 인공지능을 더 정확하게 만드는 문제를 해결했다고 주장하는 것이 아닙니다. 대신, 이 새로운 아키텍처가 할 수 있는 것과 할 수 없는 것의 경계를 명확히 긋고 있습니다. 저자는 이 외부 구조화된 기억 시스템이 아직 오늘날 사용되는 표준 모델을 대체할 만큼 정확하지는 않지만, 다른 영역에서는 뚜렷한 장점을 제공한다고 결론짓습니다. 기억이 외부에 저장되고 기계의 출력에 의해 다시 쓰일 수 없기 때문에, 이 시스템은 본질적으로 더 안전하고 감사가 용이합니다. 모든 답변은 변경 불가능한 특정 출처로 추적될 수 있습니다. 또한 더 빠르며, 전체 시스템을 다시 훈련할 필요 없이 새로운 정보로 업데이트할 수 있습니다. 이 연구는 순수한 구조적 지능이라는 꿈이 아직 현실은 아닐지라도, 투명하고 안전하며 감사가 가능한 기계를 향한 길은 방어 가능하고 가치 있는 방향임을 보여주는 엄격한 시험입니다.

기술 요약: 확률적 적합을 넘어선 언어 모델을 위한 외부 구조적 메모리 아키텍처

문제 정의
본 논문은 현재의 자기회귀 언어 모델(트랜스포머로 대표되는)이 학습 코퍼스의 파라미터 압축에 의존함에 따라 발생하는 네 가지 본질적인 구조적 비용을 식별한다:

연산(Computation): 셀프 어텐션은 시퀀스 길이 $n$ 에 대해 이차 복잡도 $O(n^2 \cdot d)$ 를 갖는다.
데이터(Data): 통계적 분포를 적합시키기 위해서는 방대한 데이터셋이 필요하며, 도메인 적응을 위해 추가적인 주석 작업이 요구된다.
메모리(Memory): 지식은 분산된 가중치로 압축되어 위치를 특정할 수 없고, 점진적으로 업데이트할 수 없으며(재학습/미세조정이 필요함), 추적이 불가능하다(이는 손실 압축의 누출로 인한 "환각" 현상을 초래한다).
감사 가능성(Auditability): 안전 정렬은 사후 선호도 최적화(예: RLHF)에 의존하는데, 이는 수렴이 어려운 "패치형(patch-on)" 루프로 묘사된다.

저자는 학습 코퍼스와 지식 구조가 본질적으로 정적이라는 점을 고려할 때, 목표는 파라미터가 더 많은 것을 기억하게 만드는 것이 아니라, 지식을 압축된 파라미터가 아닌 명시적 구조로 취급하는 것이어야 한다고 주장한다.

방법론
제안된 아키텍처는 통합 방정식을 중심으로 구성된 외부 구조적 메모리(External Structured Memory) 시스템으로 파라미터 메모리를 대체한다. 이 시스템은 세 가지 핵심 요소로 구성된다:

계층적 구조 지식 저장소 (HSKS):
단방향 참조가 이루어지는 읽기 전용의 5계층 구조이다:
- L1 (온톨로지): 지식 단위의 정적 정의 (ID, 속성).
- L2 (관계): 단위 간 연결의 정적 유효성 및 방향.
- L3 (불변량): L1과 L2로부터 발현되는 정적 계산 가능 위상 불변량 (예: 호몰로지 차원, 오일러 표수).
- L4 (진화): 생성을 위한 동적 상태 전이 경로.
- L5 (감사): 처음 네 개 층의 폐쇄성(closure)에 대한 동적 검증.
- 설계 원칙: 단방향 참조(추적 가능성), 제로 교차 결합(위치 특정 가능성), 읽기 전용(변조 방지).
저차원 구조적 시그니처 (Low-Dimensional Structured Signature):
지식 단위는 위상 불변량으로부터 유도된 42차원 벡터로 표현된다.
- 기저(Basis): 칼라비-야우 다양체(Calabi–Yau manifold)의 제5 적분 호몰로지 그룹에서 유도된 12개의 선형 독립인 폐쇄 체인.
- 확장(Expansion): 이 12개의 벡터는 36차원의 고유 공간으로 확장되며, 투영 과정에서의 정보 손실을 보정하기 위해 6개의 "보정 차원"이 추가된다.
- 의미론(Semantics): 벡터는 생존 제약, 안전 제약, 성능, 그리고 보정 섬유(fiber)로 분할된다.
- 유사도(Similarity): 12차원 디베이스라인 코사인(0.7)과 42차원 코사인(0.3)의 가중 조합으로 계산된다.
학습 신호 및 통합 방정식:
- 신호: 교차 엔트로피는 구조적 일관성 잔차( $\epsilon = \nabla^2\Psi$ )로 대체된다. 이는 "얼마나 정확한가?"(통계적)가 아니라 "구조가 잘 유지되는가?"(위상적)를 묻는다.
- 통합 방정식: 위상적 강성, 제약 전파, 진화, 그리고 **도메인 캘리브레이션 연산자 ( $\Omega$ )**를 포함하여 8개의 항으로 구성된 방정식이 구성 요소들을 조직한다.
- 제약 조건: 계층적으로 구성된 생존 $\succ$ 안전 $\succ$ 성능 순서로, 사후 처리가 아닌 학습 과정 중에 적용된다.

주요 기여

운용 가능한 체계: 계층적 구조 저장소, 특정 위상 시그니처, 그리고 구조적 일관성 학습 신호를 갖춘 통합된 외부 메모리 아키텍처를 제시한다.
재현 가능한 실험: 표현력 변별성, 검색, 필드 역학, 연산자 특성을 다루는 중국어 지식 베이스(541개 항목)에 대한 포괄적인 평가를 수행하였다.
명시적 경계: 저자는 자신의 주장에 대한 한계를 명확히 정의하여, 표준 트랜스포머와의 엔드 투 엔드 비교를 피하고 단순한 정확도 우위를 주장하지 않는다.

결과
실험 결과, 구조적 접근 방식의 검색 정확도에 대해서는 주로 부정적인 결과가 나타났으나, 한 가지 특정 긍정적 발견이 있었다:

반증된 가설:
- 변별성: 구조적 시그니처는 변별력은 있으나 약하다. 최근접 이웃과 무작위 쌍 간의 거리 비율이 낮아(0.13–0.15), 국소적 구조는 존재하지만 주요 검색을 위한 힘은 부족함을 나타낸다.
- 차원성: 차원을 12에서 42로 늘려도 미미한 이점만을 제공했다 (비율이 0.1435에서 0.1317로 개선됨).
- 검색 성능: 구조적 재현율(Recall@1 = 0.176)은 리터럴(literal) 재현율(Recall@1 = 0.922)보다 훨씬 떨어진다.
- 2단계 vs 융합: 2단계 방식(구조적 프리필터 + 리터럴 재순위화)은 직접 융합(0.854)보다 낮은 성능(0.699)을 보였으며, 이는 구조적 프리필터링이 복구 불가능한 후보 손실을 유발함을 시사한다.
- 불변량: 프랙탈 차원은 검색 적중(recall hits)과 거의 상관관계가 없었다(0.041).
- 멱평균(Power Means): 통합 방정식의 멱평균을 유사도 메트릭으로 직접 사용했을 때 재현율이 거의 0에 수렴하였으며, 이는 이들이 변별적 메트릭이 아닌 집계 연산자로 기능함을 확인시켜 준다.
검증된 긍정적 결과:
- 도메인 캘리브레이션 ( $\Omega$ ): 구조적 검색에 8번째 항인 도메인 캘리브레이션 연산자를 부착했을 때, Recall@1이 0.176에서 0.249로 향상되었다 (41% 상대적 이득). 이 연산자는 인위적 연관성을 피하기 위한 설계대로 수축(가중치 감소) 역할을 수행한다.
기타 특성:
- 구조적 채널은 리터럴 채널보다 약 13배 빠르다.
- 통합 방정식과 그 연산자들(멱평균의 순서, $\Omega$ 의 수축)은 수학적으로 설계된 대로 해결 가능하며 작동함이 검증되었다.

의의 및 주장
본 논문은 자신의 의의를 정확도나 기존 모델의 대체가 아닌, 효율성, 해석 가능성, 그리고 감사 가능성에 두는 겸허한 입장을 취한다.

방어 가능한 장점:
- 효율성: 구조적 채널은 상당한 속도 이득을 제공한다.
- 해석 가능성: 모든 메모리 항목은 명시적인 단위이며, 적중 사례를 특정 항목으로 추적할 수 있다.
- 감사 가능성: 읽기 전용 및 단방향 설계는 메모리가 출력에 의해 역으로 오염될 수 없음을 보장하며, 이를 통해 안전성을 정렬 학습이 아닌 구조적 제약을 통해 검증할 수 있게 한다.
- 점진적 업데이트 가능성: 외부 저장소는 재학습 없이 업데이트될 수 있다.
명시적으로 거부된 주장:
- 본 아키텍처는 더 높은 정확도를 주장하지 않는다 (실험적으로 반증됨).
- 트랜스포머를 대체하려 하지 않는다 (엔드 투 엔드 비교 없음).
- 더 빠른 수렴을 주장하지 않는다 (선택 연산자가 아직 구축되지 않음).

저자는 구조적 시그니처가 현재 구현 수준에서는 주요 검색 채널로서의 역할을 수행하기에는 불충분하지만, 파라미터 메모리에 대한 구별되고 감사 가능한 대안을 제공하며, 그 주요 가치는 예측 성능보다는 안전 검증과 효율성에 있다고 결론짓는다.

유사한 논문