LAWS: Learning from Actual Workloads Symbolically -- A Self-Certifying Parametrized Cache Architecture for Neural Inference, Robotics, and Edge Deployment

이 논문은 실제 작업 부하로부터 형식적으로 경계가 설정된 전문가 함수 라이브러리를 동적으로 구축하여 신경 추론, 로봇 공학 및 엣지 시스템에 배포 시 오류 보장을 제공하면서도 기존 전문가 혼합 (Mixture-of-Experts) 및 KV 캐싱 접근법을 일반화하고 능가하는 LAWS 라는 자기 인증 파라미터화 캐시 아키텍처를 소개합니다.

핵심

당신이 매일 수천 개의 수학 문제를 풀어야 하는 천재이지만 지친 교수라고 상상해 보세요. 이 문제들의 대부분은 실제로 당신이 이전에 본 것들인데, 숫자나 이름이 약간 다를 뿐입니다.

현재 당신의 시스템은 당신이 한 번도 풀지 않은 문제뿐만 아니라, 백만 번이나 풀어본 문제조차 처음부터 다시 풀도록 강제합니다. 이는 느리고 비용이 많이 들며 많은 에너지를 낭비합니다.

LAWS(Learning from Actual Workloads Symbolically, 실제 작업 부하에서 상징적으로 학습)는 이 문제를 해결하기 위해 교수님 (AI 모델) 위에 얹혀 작동하는 새로운 "스마트 어시스턴트"입니다. 간단한 비유를 들어 작동 방식을 설명해 보겠습니다.

1. 스스로 작성하는 "요약 노트"

LAWS 를 스스로 작성하는 요약 노트라고 생각하세요.

• 작동 방식: 교수님이 문제를 풀 때마다 LAWS 는 이를 지켜봅니다. "입력이 이것처럼 보일 때마다 정답은 저것이다"와 같은 패턴을 발견하면, 미래에 해당 유형의 문제를 처리하기 위한 작고 간단한 규칙 (전문가) 을 적어냅니다.
• 마법 같은 점: 교수님에게 무언가를 다시 배우라고 요청할 필요가 없습니다. 교수님의 기존 지식 (가중치) 을 살펴보고 "이건 할 수 있죠. 여기 단축키가 있습니다"라고 말할 뿐입니다.

2. "안전 배지"(자기 인증)

보통 단축키를 사용하려 할 때 이런 걱정이 듭니다: "이 단축키가 정말로 정확한 것일까, 아니면 잘못된 답을 줄까?"

• LAWS 의 해결책: LAWS 가 만드는 모든 단축키에는 수학적 안전 배지가 함께 제공됩니다. 단축키를 사용하기 전에 교수님의 원래 두뇌를 확인하여, 해당 유형의 문제에 대해 단축키가 100% 확실하게 안전함을 증명합니다.
• 비유: 단순히 차가 운전하기 안전한지 추측하는 교통 경찰관이 아니라, 제조사로부터 "지금 이 순간 안전함"을 증명하는 디지털 인증서를 가진 것과 같습니다. 단축키가 인증되지 않으면 LAWS 는 이를 사용하지 않고 교수님이 힘든 작업을 하도록 둡니다.

3. "두 개의 뇌" 시스템 (시스템 1 대 시스템 2)

이 논문은 심리학자 대니얼 카너먼의 아이디어에 기반한 인간의 사고 방식과 이를 비교합니다:

• 시스템 2(교수님) 느리고 신중하며 에너지 소모가 큽니다. 이것이 어려운 수학 계산을 수행하는 대형 AI 모델입니다.
• 시스템 1(요약 노트) 빠르고 자동적이며 저렴합니다. 이것이 LAWS 입니다.
• 함께 작동하는 방식: 질문이 들어오면 LAWS 는 먼저 요약 노트를 확인합니다.
  • 적중: "이건 전에 본 적 있어! 여기가 정답이야." (빠르고 저렴함)
  • 미스: "이건 내가 본 적 없는 새로운 변형이야." (LAWS 는 말합니다, "알겠습니다, 교수님, 이거는 당신이 처리해 주세요.")
  • 결과: 교수님은 절대적으로 필요할 때만 힘든 작업을 수행합니다.

4. "함대" 효과 (함께 학습하기)

각기 다른 작업을 수행하는 1,000 대의 로봇 함대를 상상해 보세요.

• LAWS 없이: 로봇 A 가 문을 여는 법을 배웁니다. 로봇 B 는 비록 같은 문이라 할지라도 처음부터 문을 여는 법을 배워야 합니다.
• LAWS 로: 로봇 A 가 그 문을 여는 단축키를 알아내면 규칙을 적어 공유 클라우드에 업로드합니다. 로봇 B 는 그 작은 규칙을 즉시 다운로드합니다.
• 혜택: 전체 함대가 함께 더 똑똑해집니다. 1,000 대의 로봇이 작업 중이라면, 단일 로봇이 발견할 수 있는 것보다 1,000 배 빠르게 새로운 단축키를 발견합니다.

5. 에너지 절약 ("배터리" 비유)

거대한 AI 모델을 실행하는 것은 고출력 제트 엔진을 가동하는 것과 같습니다. 많은 연료 (전기) 를 소모합니다.

• LAWS 의 영향: "요약 노트" 단축키를 90% 의 경우 사용하면, 시스템은 드물고 어려운 10% 의 질문에만 "제트 엔진"을 가동하면 됩니다.
• 결과: 이 논문은 이로 인해 약 10 배 더 많은 에너지를 절약할 수 있다고 주장합니다. 이는 배터리가 즉시 방전되지 않고도 스마트폰이나 로봇 같은 소형 장치에서 똑똑한 AI 를 실행할 수 있게 합니다.

6. 인간 불필요

Cyc 나 Wolfram Alpha 와 같은 구식 "상징적 AI"와 달리, 인간이 모든 규칙과 사실을 수동으로 작성해야 했던 LAWS 는 규칙을 자동으로 발견합니다.

• 비유: 인간 사서가 모든 책에 대해 카탈로그 카드를 작성하는 대신, LAWS 는 사람들이 책을 대출하는 것을 지켜보고 패턴을 발견한 뒤 스스로 카탈로그 카드를 작성하는 로봇 사서입니다.

요약

LAWS는 AI 모델이 더 빠르고 저렴해지도록 하는 시스템으로, 다음을 수행합니다:

1. AI 모델이 무엇을 하는지 관찰합니다.
2. 작업에서 간단한 패턴을 발견합니다.
3. 수학적으로 그 패턴이 안전함을 증명합니다.
4. 매번 힘든 작업을 대신하여 그 간단한 패턴을 사용합니다.

이는 "느리고 신중한 사고자"를 "대부분 근육 기억에 의존하는 전문가"로 바꾸지만, 그 근육 기억이 항상 정확하다는 보장을 제공합니다.

기술 요약

기술 요약: LAWS – 실제 작업 부하로부터 상징적으로 학습하기

1. 문제 정의

대형 언어 모델 (LLM), 확산 모델, 로봇 제어기를 포함한 현대의 신경망 추론 시스템은 근본적인 비효율성, 즉 재사용 없는 반복에 직면해 있습니다. 추론 쿼리의 대다수는 이전에 접한 패턴의 변형 (예: 다른 변수 이름으로 된 동일한 알고리즘, 또는 다른 객체로 된 동일한 조작 작업) 임에도 불구하고, 현재 시스템은 이러한 계산 패턴을 자동으로 발견, 인증, 재사용할 수 있는 메커니즘이 부족합니다.

기존 접근 방식은 다음과 같은 중대한 한계를 가집니다:

• KV 캐싱: 정확한 토큰 접두사에 대해서만 계산을 재사용합니다. 매개변수적 변형을 처리할 수 없습니다.
• 혼합 전문가 (MoE): 훈련 시점에 결정된 고정된 하위 네트워크 집합으로 라우팅합니다. 라이브러리는 성장하지 않으며, 특정 입력에 대한 정확성에 대한 형식적 보장이 없습니다.
• 상징적 AI (예: Cyc, Wolfram Alpha): 수동으로 작성된 규칙과 어휘에 의존하며, 막대한 인적 노력이 필요하고 큐레이션된 도메인 밖에서는 일반화되지 않습니다.

핵심적인 공백은 배포 경험을 통해 재사용 가능한 계산 패턴을 자동으로 발견하고, 재훈련 없이 그 유효성을 형식적으로 인증하며, 이러한 패턴의 라이브러리를 지속적으로 성장시키는 시스템의 부재입니다.

2. 방법론: LAWS 아키텍처

LAWS(상징적으로 실제 작업 부하로부터 학습) 는 훈련된 신경망 ($F_W$) 위에 투명한 중개 계층으로 존재하는 추론 시 아키텍처입니다. 이는 기본 모델을 수정하거나 추가 훈련을 요구하지 않고 작동합니다.

핵심 구성 요소

1. 매개변수화 된 전문가 (Parametrized Experts): LAWS 는 전문가들의 라이브러리 $\mathcal{L}$을 유지합니다. 각 전문가 $e = (n^*, f, \phi, \tau^*, \epsilon_{fit})$는 다음으로 구성됩니다:

   • 신호표 (Signpost, $n^*$): 확률적 언어 트라이 (PLT) 에서의 대표 입력 (트라이 노드).
   • 함수 ($f$): $F_W$를 근사하는 저렴한 계산 (예: 상수, 선형/야코비안 보정, 기본 알고리즘, 또는 작은 MLP).
   • 매개변수 추출기 ($\phi$): 입력을 $f$에 필요한 매개변수로 매핑합니다.
   • 유효 반경 ($\tau^*$): 전문가가 정확성이 보장되는 PLT 공간 내의 거리 척도.
   • 적합 오차 ($\epsilon_{fit}$): 신호표에서의 전문가와 기본 모델 간의 오차 한계.

2. 확률적 언어 트라이 (PLT) 라우팅:

   • 시스템은 입력 간의 유사성을 측정하기 위해 PLT 거리 척도 $d_T(s, s') = -\log_2 P_M(s \wedge s')$를 사용합니다.
   • 쿼리 $x$를 수신하면, LAWS 는 $x$를 포함하는 유효성 구 $B(n^*, \tau^*)$를 가진 전문가가 있는지 조회합니다.
   • 일치 항목이 발견되면 (캐시 히트), 저렴한 함수 $f(\phi(x))$가 실행됩니다.
   • 일치 항목이 발견되지 않으면 (캐시 미스), 전체 기본 모델 $F_W(x)$가 실행됩니다. 그런 다음 출력은 라이브러리에 새로운 전문가를 증류하는 데 사용될 수 있습니다.

3. 립시츠 상수를 통한 자기 인증:

   • 핵심 혁신은 모든 전문가의 유효성이 추론 없이 훈련된 가중치에서 계산 가능한 기본 모델의 립시츠 상수 $\Lambda(W)$를 사용하여 형식적으로 인증된다는 점입니다.
   • 라우팅 반경 $\tau^*$는 $\Lambda(W)$, 적합 오차, 그리고 품질 임계값 $\delta$에서 유도됩니다. 이는 반경 내의 모든 입력에 대해 근사 오차가 $\delta$로 제한됨을 보장합니다.

3. 주요 기여 및 이론적 결과

A. 자기 인증 정리 (정리 3)

이 논문은 훈련된 가중치 $W$가 모든 전문가의 유효성을 인증하는 립시츠 상수 $\Lambda(W)$를 인코딩함을 증명합니다.

• 결과: 임의의 전문가 $e$와 유효 반경 내의 입력 $x$에 대해, 오차 $\|F_W(x) - f(\phi(x))\|$는 $\epsilon_{fit} + 2\Lambda(W) \cdot CE$ (여기서 $CE$는 임베딩 지름) 로 제한됩니다.
• 의의: 이는 "워밍업" 단계, 프록시 모델, 또는 재훈련 없이 정확성에 대한 형식적 보장을 제공합니다.

B. 전문가 라이브러리 역학 및 성장 (정리 6, 7, 8)

• 단조 히트율: 라이브러리가 성장함에 따라 예상 캐시 히트율은 비감소합니다 (정리 6).
• 성장률: 엔트로피 $H$를 가진 정상 분포 하에서, $N$개의 쿼리 후 생성된 새로운 전문가의 수는 $O(2^H \log N)$입니다. 고정 엔트로피 작업 부하의 경우 이는 $O(\log N)$입니다.
• 획득 비용: 새로운 전문가를 획득하는 비용 (생성을 트리거하는 데 필요한 "미스") 은 $N \to \infty$로 갈 때 0 으로 상쇄됩니다 (정리 8).

C. 이전 작업의 일반화 (정리 10)

LAWS 는 기존 접근 방식을 엄격하게 일반화하는 것으로 나타납니다:

• KV 캐싱: $\tau^* = 0$이고 $f$가 항등 함수인 퇴화 사례로 복원됩니다.
• 혼합 전문가: 라이브러리 크기 $K$가 고정되고 트라이 깊이가 1 인 경우로 복원됩니다.
• 상징적 AI: Cyc 나 Wolfram Alpha 와 달리, LAWS 는 모델의 분포로부터 상징적 어휘를 자동으로 발견하며 (정리 11), 형식적 유효성 인증서를 제공합니다.

D. 로봇 공학 및 플릿 학습 (정리 15, 16)

• 플릿 수렴: $K$개의 협력 단위로 구성된 플릿은 단일 단위보다 $\Omega(K)$배 빠르게 전체 커버리지에 수렴합니다.
• OTA 업데이트: 오버 - 더 - 에어 업데이트에 필요한 대역폭은 $O(2^H \log(\Delta N) \cdot B_{expert})$로 제한됩니다. 1,000 대의 로봇으로 구성된 플릿의 경우, 이는 로봇당 하루 약 870KB로 변환되어 엣지 장치에서 지속적인 학습을 가능하게 합니다.

E. 에너지 절감 (정리 18)

• 비용 절감: 캐시 히트는 전체 통과에 필요한 $O(Ln^2 + Lnd_{model})$ FLOPs 대비 $O(n + k \cdot d_{model})$ FLOPs 를 소비합니다.
• 결과: 90% 히트율에서 LAWS 는 쿼리당 에너지 소비를 최대 10 배 줄입니다.

4. 생물학적 및 과학적 비유

이 논문은 LAWS 를 생물학적 지능의 계산적 형식화로 제시합니다:

• 카네만의 이중 처리 이론: LAWS 는 시스템 1(빠른, 패턴 기반) 을 전문가 라이브러리에, 시스템 2(느린, 의도적) 를 기본 모델에 매핑합니다. 전환은 쿼리 거리가 유효 반경을 초과할 때 트리거되는 "중단 및 재계획" 신호입니다.
• 촘스키의 선천적 사전: 사전 훈련된 가중치 $W$는 선천적 언어 습득 장치 (LAD) 로 작용하여 배포 전에 가능한 문법/패턴의 공간을 제약하는 사전 구조 (PLT 트라이) 를 제공합니다.
• 과학적 발견: 과학자들이 관찰로부터 자연 법칙을 발견하고 입법하지 않는 것처럼, LAWS 는 실제 작업 부하로부터 "법칙"(불변 패턴) 을 발견하고 이를 저렴하고 인증된 전문가로 인코딩합니다.

5. 의의 및 주장

이 논문은 LAWS 가 엣지 장치에서 배포된 AI 의 시대를 위한 새로운 AI 추론 패러다임을 대표한다고 주장합니다. 그 의의는 다음과 같습니다:

1. 형식적 안전성: 휴리스틱 캐싱과 달리, LAWS 는 모델 가중치에서 직접 유도된 모든 캐시된 전문가에 대해 $\delta$-정확성 보장을 제공합니다.
2. 자동 지식 성장: 수동 작성된 상징적 규칙이나 고정된 전문가 풀의 필요성을 제거하여 시스템이 사용으로부터 지속적으로 새로운 능력을 학습하고 인증할 수 있게 합니다.
3. 확장성: 컴팩트한 OTA 업데이트를 통해 분산된 장치가 효율적으로 지식을 공유하는 플릿 학습을 가능하게 합니다.
4. 효율성: 반복적인 작업 부하에 대해 상당한 에너지 및 지연 시간 감소를 제공하여, 리소스 제약 하드웨어에서 고기능 모델을 실현 가능하게 합니다.

저자들은 Safebox/Safebots.ai 생태계를 이 아키텍처의 실제 구현으로 위치시키며, LAWS 전문가와 하드웨어 인증 정책 실행을 결합하여 인증되고 감사 가능하며 대역폭 효율적인 추론 기질을 생성합니다.

6. 한계 및 미해결 문제

이 논문은 다음과 같은 특정 한계를 인정합니다:

• 립시츠 경계: 이론적 최악의 경우 립시츠 상수 $\Lambda(W)$는 심층 네트워크의 경우 크고, 이로 인해 유효 반경이 작아질 수 있습니다. 저자들은 분포 내 데이터에서의 실제 립시츠 상수는 훨씬 작을 것이라고 가정합니다 (가설 1), 하지만 이는 경험적 검증이 필요합니다.
• 정상성 가정: 이론적 수렴 보장은 정상 입력 분포를 가정합니다. 시스템은 캐시 미스 경로를 통해 분포 변화를 처리하지만, 형식적 경계는 정상 체제에 적용됩니다.
• 고정밀도 작업: 극도의 정밀도가 필요한 작업 (예: 높은 소수 자리의 산술) 의 경우, 필요한 민감도가 유효 반경을 초과하여 시스템이 항상 기본 모델을 호출하게 될 수 있습니다 (계론 2).

결론적으로, LAWS 는 신경망이 자신의 운영 역사로부터 계산 법칙을 자동 발견하고 인증함으로써 "시스템 2" 사고에서 "시스템 1" 전문가로 진화하는 수학적으로 근거 있는 프레임워크를 제안합니다.