🤖 AI

Grokers: Bottom-Up Inductive Comprehension and Write-Time Intelligence over Typed Knowledge Graphs

이 논문은 자율 에이전트를 사용하여 유형화된 지식 그래프를 귀납적으로 분석하고 풍부하게 함으로써, 지능을 쿼리 시점이 아닌 쓰기 시점으로 전환하여 지속적인 구조적 이해, 완벽에 가까운 KV-캐시 효율성, 그리고 향후 쿼리에 대한 추가적인 언어 모델 비용 제로를 달성하는 아키텍처인 Grokers를 소개한다.

원저자: Gregory Magarshak

게시일 2026-06-02

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Gregory Magarshak

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 거대하고 분주한 도서관을 운영하고 있다고 상상해 보십시오.

옛날 방식: "검색형" 도서관 (RAG)

현재 대부분의 AI 시스템은 책을 한 번도 읽어본 적 없는 사서처럼 작동합니다. 이용자가 질문을 할 때마다, 사서는 서가로 달려가 질문과 비슷해 보이는 페이지 몇 장을 무작위로 집어 들고, 그것들을 빠르게 훑어본 뒤 답변을 시도합니다.

문제는 무엇일까요? 어제 1,000명의 사람이 똑같은 질문을 했더라도, 사서는 매번 이 과정을 반복해야 한다는 점입니다. 이는 느리고 비용이 많이 듭니다(읽는 데 시간과 돈이 들기 때문이며, 단순히 훑어보는 것만으로는 완벽한 답을 놓칠 수도 있기 때문입니다).

새로운 방식: "Grok" 도서관 (GROKERS)

이 논문은 이 과정을 완전히 뒤집는 GROKERS라는 시스템을 소개합니다. 질문이 들어올 때까지 기다리는 대신, 정보가 처음 기록될 때 힘든 작업을 미리 수행합니다.

마치 도서관에 상주하는 아주 똑똑하고 자율적인 편집자들(이름하여 Grokers)이 있는 것과 같습니다.

1. "쓰기 단계"의 편집자들

새로운 책(또는 문서)이 도서관에 도착하면, Grokers는 즉시 그 책을 읽습니다. 그들은 단순히 책을 꽂아두는 것이 아니라 깊이 있게 분석합니다. 핵심 아이디어를 추출하고, 키워드로 태그를 달고, 품질을 요약하여 이 "풍부한 메모"를 책의 등표지에 직접 기록합니다.

이점: 나중에 이용자가 질문을 하면, 사서는 책 전체를 다시 읽을 필요가 없습니다. 그저 등표지에 미리 적힌 메모를 보고 즉시 답변할 수 있습니다. "이해"에 드는 비용은 질문할 때마다 지불하는 것이 아니라, 처음에 한 번만 지불되었습니다.

2. "상향식(Bottom-Up)" 조립 라인

도서관은 단순히 책이 쌓여 있는 곳이 아니라, 연결된 네트워크입니다. 어떤 책들은 다른 책들에 의존합니다(예: 사전이 있어야 교과서를 이해할 수 있는 것처럼).

GROKERS는 상향식으로 작동합니다. 건설 현장에서 마천루를 짓는 과정을 상상해 보십시오:

먼저 기초와 가장 낮은 층들("리프(leaf)" 노드)을 완성합니다.
아래층들이 완료되고 "태그"가 붙으면, 작업팀은 다음 층으로 이동합니다.
아래층들이 모두 완료되고 이해되지 않으면 위층을 완성할 수 없습니다.

이를 통해 시스템이 건물의 꼭대기에 대한 복잡한 질문에 답해야 할 때쯤이면, 건물 전체 구조가 이미 분석되고 라벨링되어 있음을 보장합니다.

3. "바이트 단위 동일성"의 마법 (KV-캐시)

이것은 이 논문에서 가장 기술적이면서도 멋진 주장입니다. Grokers가 매우 엄격하고 예측 가능한 형식으로 메모를 작성하기 때문에, (책이 바뀌지 않는 한) "컨텍스트(context)"(등표지의 메모)는 사용할 때마다 바이트 단위로 동일합니다.

비유: 컴퓨터 메모리 시스템이 초고속 자판기와 같다고 상상해 보십시오. 만약 당신이 어제 주문했던 것과 정확히 똑같은 간식(동일한 컨텍스트 블록)을 주문한다면, 기계는 창고까지 가서 새 물건을 가져올 필요가 없습니다. 물건이 정확히 같다는 것을 알고 있으므로, 즉시 기존의 것을 내보냅니다.
결과: 시스템은 자신의 "기억"을 거의 100% 재사용할 수 있어 믿을 수 없을 정도로 빠르고 저렴해집니다. 전통적인 시스템은 질문에 따라 컨텍스트를 매번 다르게 구성하기 때문에 이를 할 수 없습니다.

4. "지혜의 도서관" (시간이 흐를수록 똑똑해지는 법)

시스템에는 일반적인 작업을 처리하는 작고 미리 작성된 컴퓨터 프로그램들의 모음인 "지혜의 도서관(Wisdom Library)"이 있습니다.

성장: 시스템이 현재의 프로그램으로 해결할 수 없는 새로운 유형의 질문을 접하게 되면, 단순히 추측하지 않습니다. 대신 AI를 사용하여 해당 특정 패턴을 처리할 수 있는 새로운 프로그램을 작성합니다.
결과: 시간이 지남에 따라 프로그램의 라이브러리가 성장합니다. 시스템을 더 많이 사용할수록, 비싼 AI "두뇌"를 호출하지 않고도 더 많은 질문에 답할 수 있게 됩니다. 질문당 비용은 시스템이 똑똑해짐에 따라 낮아집니다.

5. 읽기와 쓰기의 "양방향 통행"

이 논문은 이 도서관을 통과하는 수학적 규칙을 증명합니다:

이해하기 위해 (Comprehend): 반드시 **상향식(Bottom-Up)**으로 가야 합니다 (작은 세부 사항에서 큰 그림으로). 벽을 이해하기 전에는 지붕을 이해할 수 없습니다.
생성하기 위해 (Generate): 반드시 **하향식(Top-Down)**으로 가야 합니다 (큰 계획에서 세부 사항으로). 지붕 설계도가 있기 전에는 벽을 만들 수 없습니다.

GROKERS는 상향식 단계를 통해 완벽한 "메모"(컨텍스트)를 구축하며, 이는 나중에 하향식 단계를 통해 즉각적이고 완벽하게 답변을 생성할 수 있게 해줍니다.

요약

GROKERS는 질문할 때마다 인터넷을 "다시 읽는" 일을 멈추게 하는 아키텍처입니다. 대신, 에이전트 팀을 고용하여 정보가 들어오는 즉시 미리 읽고 요약하여, 구조화되고 연결된 지도의 형태로 저장합니다.

옛날 방식: 질문 $\rightarrow$ 검색 $\rightarrow$ 읽기 $\rightarrow$ 답변 (느리고, 비싸고, 반복적임).
GROKERS 방식: 쓰기 $\rightarrow$ 분석 및 태깅 $\rightarrow$ 저장 $\rightarrow$ (나중에) 질문 $\rightarrow$ 태그 읽기 $\rightarrow$ 답변 (빠르고, 저렴하며, 효율적임).

이 논문은 이 방식이 지식을 단순히 그때그때 찾아내는 것이 아니라, 구조화된 영구적 이해를 구축함으로써 사용하면 할수록 더 저렴하고 빨라진다고 주장합니다.

기술 요약: Grokers: 유형화된 지식 그래프에 대한 하향식 귀납적 이해 및 쓰기 시점 지능

1. 문제 정의

대규모 언어 모델(LM)의 응답을 구조화된 지식에 접지(grounding)하는 지배적인 패러다임은 검색 증강 생성(RAG)이다. 이 모델에서는 쿼리를 임베딩하고, 벡터 유사도를 통해 가장 가까운 이웃 문서 청크를 검색한 뒤, 이 청크들을 프롬프트 컨텍스트에 주입한다.

본 논문은 RAG의 구조적 결함을 지적한다. RAG는 쿼리가 참신하거나 이전의 수천 가지 상호작용과 구조적으로 동일한지 여부와 관계없이, 매 쿼리마다 전체 이해 비용을 발생시킨다. 반복되는 상호작용 패턴이 존재하는 지식 도메인(예: 엔터프라이즈 소프트웨어, 문서 관리)의 경우, 이러한 접근 방식은 아키텍처 측면에서 낭비적이다. 또한, RAG로 조립된 컨텍스트는 쿼리에 따라 변하므로, 효율적인 KV 캐시 활용에 필요한 안정성을 확보할 수 없다.

2. 방법론: GROKERS 아키텍처

GROKERS는 지능의 중심을 쿼리 시점에서 **쓰기 시점(write time)**으로 전환함으로써 표준적인 설계 선택을 역전시킨다. 이 아키텍처는 Magarshak Machine SPACER 기질(substrate) 상에서 구현된, 구조화된 필드, 유형화된 속성, 가중치가 부여된 유형 엣지를 가진 유형 노드들의 유향 그래프인 **유형 스트림 그래프(Typed Stream Graph)**에 의존한다.

핵심 메커니즘

하향식 귀납적 이해 (Bottom-Up Inductive Comprehension): 자율적인 "Groker" 에이전트들이 지식 기질의 종단 노드(leaf nodes)에서 루트(roots)를 향해 의존성 서브그래프를 탐색한다. 이들은 통제된 LM 호출을 통해 구조화된 속성을 추출하고, 의존 관계를 통해 이해를 상향식으로 귀납적으로 구성한다.
쓰기 시점 풍부화 (Write-Time Enrichment): 쿼리 시점에 컨텍스트를 검색하는 대신, 시스템은 풍부해진 유형 속성을 그래프 노드에 직접 기록한다. 이러한 속성은 추가적인 LM 비용 없이 향후 모든 쿼리에 활용된다.
트랜잭션 기반 비정규화 (Transactional Denormalization): STREAMS CATEGORY 테이블은 비정규화 인덱스를 유지한다. 모든 노드에 대해, 해당 노드는 모든 관계 수정 시 원자적으로 업데이트되는 완전한 사전 순위 지정 관계 이웃(pre-ranked relation neighborhood)을 저장한다. 이는 백그라운드 작업이나 최종 일관성(eventual consistency) 없이 약 1ms 내에 완전한 컨텍스트를 제공한다.
결정론적 컨텍스트 조립 (Deterministic Context Assembly): 결정론적 함수인 buildCachedContext는 노드 속성과 이웃 데이터를 구조화된 텍스트로 렌더링한다. 관계 유형의 순서는 고정되어 있으며(고유 유형 우선, 그 다음 최대 가중치 순), 이는 동일한 입력에 대해 출력이 바이트 단위로 일치(byte-identical)하도록 보장한다.

지혜 라이브러리 (The Wisdom Library)

LM 의존성을 더욱 줄이기 위해, GROKERS는 특정 상호작용 패턴을 처리하는 유한한 샌드박스 명령형 프로그램 세트인 **지혜 라이브러리( $W$ )**를 채택한다. 이 라이브러리는 세 가지 메커니즘을 통해 성장한다:

초기 저작: 활성화 전 검토를 거치는 LM 생성 프로그램.
패턴 승격: Groker 분석이 미처 다루지 못한 패턴을 식별하고 새로운 프로그램을 제안함.
진화적 선택: 적합도가 낮은 프로그램이 더 높은 적합도를 가진 포크(fork)로 교체됨.

3. 주요 기여 및 형식적 특성

본 논문은 GROKERS 아키텍처의 효율성과 정확성을 확립하는 세 가지 형식적으로 증명된 정리를 제시한다.

A. 바이트 일치 정리 (The Byte-Identity Theorem)

주장: 트랜잭션으로 유지되는 비정규화 인덱스로부터 조립된 컨텍스트 블록은 의미론적 변화 사이의 LM 턴(turn) 간에 **바이트 단위로 일치(byte-identical)**한다.
함의: 이는 동기적 상호작용에서 100%에 근접하는 KV 캐시 적중률을 가능하게 한다. 쿼리에 따라 검색된 청크가 변하는 RAG와 달리, GROKERS의 컨텍스트는 결정론적이다.
비용 분석: 안정적인 프리픽스 캐싱(예: Anthropic의 10% 캐시 히트 가격 정책)을 사용할 때, GROKERS는 정상 상태(steady-state) 시나리오에서 RAG 대비 안정적인 프리픽스 토큰 비용을 최대 10배까지 절감한다.

B. 누적 단조성 정리 (The Accumulation Monotonicity Theorem)

주장: LM 호출 없이 해결되는 상호작용의 비율(LM 호출 제거율)은 통제된 프로토콜 하에서 지혜 라이브러리가 성장함에 따라 시간이 지남에 따라 **비감소(non-decreasing)**한다.
함의: 상호작용당 한계 LM 비용은 비증가한다. 이는 일정한 한계 LM 비용을 보이는 RAG, ReAct, LangChain과 대조된다.
조건: 이는 새로운 프로그램이 라이브러리에 합류하기 전 스키마 검증 및 적합도 체크를 통과하고, 적합도가 커버리지의 신뢰할 수 있는 대리 지표라는 가정하에 성립한다.

C. 이중 순회 순서 정리 (The Dual-Traversal Ordering Theorem)

주장: 의존성 DAG에 대해, 서로 다른 작업을 위한 고유한 올바른 순회 순서가 존재한다:
- 하향식 (Leaves-first): 올바른 *이해(enrichment)*를 위한 유일한 유효 순서.
- 상향식 (Roots-first): 일관된 *아티팩트 생성(artifact generation)*을 위한 유일한 유효 순서.
함의: 이 순서들은 서로 역순이다. 하향식 이해 단계의 출력(풍부해진 속성)은 후속 상향식 생성을 위한 바이트 단위로 일치하며 KV 캐싱된 컨텍스트가 되어, 완전한 생성-이해 사이클을 완성한다.

D. 결정론적 시맨틱 검색 (Deterministic Semantic Search)

본 논문은 임베딩 기반의 시맨틱 검색에 대한 결정론적 대안으로 **유의어 캐싱 프로토콜(Synonym Caching Protocol)**을 제안한다.

메커니즘: 키워드 추출은 일급 관찰(first-class observation)로 취급된다. 쿼리는 어간 추출(stemming), 온톨로지 순회, 캐싱된 LM 확장을 통해 확장된다.
수렴: 유한 어휘 도메인의 경우, 유의어 캐시가 커버리지를 축적함에 따라 LM 폴백(fallback) 비율은 0으로 수렴하며, 이는 지혜 라이브러리의 누적 특성을 반영한다.

4. 결과 및 구현

참조 구현: 이 아키텍처는 오픈 소스 Qbix / Safebox / Safebots 스택에 구현되어 있다.
- Qbix: 스트림 그래프 기질 및 트랜잭션 기반 비정규화를 제공한다.
- Safebox: 지혜 라이브러리를 위한 샌드박스 실행 환경 및 통제된 쓰기 파이프라인을 제공한다.
- Safebots: Groker 풍부화 계층, 목표 스트림 아키텍처 및 다단계 요약 트리를 구현한다.
성능: 시스템은 컨텍스트 조립에 약 1ms를 소요한다. 동기적 상호작용(의미 변화 간격 $T_c$ 는 시간/일 단위이고 턴 간격 $T_t$ 는 초 단위인 경우)의 경우, 이론적인 KV 캐시 적중률은 100%에 근접한다.

5. 의의 및 주장

저자들은 GROKERS가 반복되는 상호작용 패턴이 존재하는 구조화된 지식 도메인에서 쿼리 시점의 검색보다 엄격하게 더 효율적인 대안으로서, 쓰기 시점 지능(write-time intelligence)을 위한 형식적 기초를 구성한다고 주장한다.

효율성: 이를 통해 이해 비용을 쓰기 시점에 분할 상환하고 결정론적 컨텍스트를 활용하여 거의 완벽한 KV 캐시 활용을 달려냄으로써, LLM 상호작용의 상수 비용 모델을 근본적으로 깨뜨린다.
정확성: 반응형 LM 도구(예: Copilot, Devin) 및 표준 RAG 시스템에는 없는 순회 순서 및 풍부화 정확성에 대한 형식적 보증을 제공한다.
확장성: 하부 기질의 "무심한 병렬성(Embarrassing Parallelism)"을 활용하여, 속성 풍부화는 조정 오버헤드 없이 발행자 수에 따라 선형적으로 확장된다.

저자들은 이 연구를 모든 LLM 애플리케이션을 대체하기 위한 것이 아니라, 지식이 구조화되어 있고 의존성이 비순환적이며 상호작용 패턴이 반복되는 특수하고 고효율적인 아키텍처를 위한 것으로 규정한다. 논문은 유의어 캐시 수렴을 위한 유한 어휘의 필요성과 비순환 의존성 그래프 가정에 따른 제한 사항을 인정하고 있다.