MAGNET: Autonomous Expert Model Generation via Decentralized Autoresearch and BitNet Training

이 논문은 GPU 없이도 CPU 기반 비트넷 (BitNet) 학습, 자동 연구 파이프라인, 분산 병합 및 온체인 추적을 통해 도메인 전문 언어 모델을 자율적으로 생성하고 배포하는 탈중앙화 시스템 'MAGNET'을 제안하고 그 유효성을 검증합니다.

핵심

MAGNET: 인공지능이 스스로 공부하고 성장하는 '탈중앙화 연구소'

이 논문은 MAGNET이라는 새로운 시스템을 소개합니다. 쉽게 말해, "인공지능이 스스로 문제를 찾고, 실패를 분석하고, 더 똑똑해지기 위해 스스로 공부하는 탈중앙화 연구소"라고 생각하시면 됩니다.

기존의 거대 인공지능 (LLM) 은 구글이나 오픈AI 같은 거대 기업만 만들 수 있었습니다. 수천 개의 고성능 그래픽카드 (GPU) 와 엄청난 돈이 필요했죠. 하지만 MAGNET 은 이 규칙을 바꿉니다. "우리집 컴퓨터로도, 동네 카페의 노트북으로도 인공지능을 만들고 가르칠 수 있다"는 것이 핵심입니다.

이 시스템을 이해하기 쉽게 4 가지 핵심 기둥과 실제 사례로 설명해 드릴게요.

---

🏗️ MAGNET 의 4 가지 핵심 기둥 (시스템의 뼈대)

MAGNET 은 네 가지 중요한 기술이 서로 손잡고 돌아가는 구조입니다.

1. **스스로 연구하는 AI **(Autoresearch)

• 비유: "스스로 실험하는 과학자"
• 설명: 보통 연구원은 "이 데이터를 주고, 이 설정으로 학습시켜"라고 지시합니다. 하지만 MAGNET 의 '오토리서치'는 다릅니다.
  • AI 가 먼저 실패합니다. (예: 영상이 위험한지 못 찾음)
  • 실패 원인을 스스로 분석합니다. ("아, 내가 너무 많은 정보를 한 번에 처리하려 했구나")
  • 새로운 방법을 스스로 제안하고 다시 실험합니다.
  • 이 과정이 인간이 개입하지 않아도 자동으로 반복되면서, AI 는 스스로 더 똑똑해집니다.

2. **가벼운 뇌 **(BitNet b1.58)

• 비유: "고급 스포츠카가 아니라, 연비 좋은 경차"
• 설명: 기존 AI 는 무겁고 비싼 GPU 가 없으면 돌아가지 않았습니다. MAGNET 은 BitNet이라는 기술을 써서 AI 의 무게를 극도로 줄였습니다.
  • AI 의 '두뇌'를 3 가지 상태 (-1, 0, +1) 만으로 표현합니다.
  • 덕분에 일반적인 노트북이나 PC(CPU)에서도 AI 를 실행할 수 있게 되었습니다. GPU 가 없어도 누구나 AI 서비스를 제공할 수 있게 된 것이죠.

3. **지식 공유와 합체 **(DiLoCo)

• 비유: "각자 전공을 가진 전문가들이 모여 '슈퍼 팀'을 만드는 것"
• 설명: 각자 다른 컴퓨터에서 각자 다른 분야 (예: 의료, 법률, 게임) 를 공부한 AI 들이 있습니다. 이들을 하나로 합치면 더 강력해집니다.
  • MAGNET 은 이들을 효율적으로 합치는 기술을 개발했습니다.
  • 서로의 지식을 공유하면서도, 통신 비용을 아끼고 각자의 전문성을 잃지 않게 합칩니다.

4. **공정한 보상 시스템 **(On-Chain Incentive)

• 비유: "블록체인 기반의 공정한 급여 시스템"
• 설명: 누가 열심히 일했는지, 누가 데이터를 잘 제공했는지 블록체인에 기록합니다.
  • 기여한 만큼 보상을 받습니다.
  • 사기나 부정을 하면 벌금을 물고 쫓겨납니다.
  • 이렇게 하면 사람들이 자발적으로 참여하고, 시스템이 스스로 유지될 수 있습니다.

---

🧪 MAGNET 이 실제로 한 일 (세 가지 사례)

이 시스템이 실제로 얼마나 잘 작동하는지 세 가지 실험으로 증명했습니다.

1. **Zevor: 위험한 영상 감지기 **(비디오 안전)

• 문제: 기존에 사람이 만든 규칙 (350 줄의 코드) 으로 영상을 감시했는데, 정확도가 95% 정도였습니다.
• 시도: 처음엔 "인공지능이 모든 걸 다 배우게 하자"고 했습니다. 하지만 데이터가 부족해서 AI 는 오히려 더 못 했습니다. (정확도 92% 로 하락)
• MAGNET 의 해결책: AI 가 스스로 "아, 내가 모든 걸 새로 배우려니 힘들구나. 기존에 잘 만들어진 신호만 조합하면 되겠구나!"라고 깨달았습니다.
• 결과: **정확도가 98.5% 로 올라갔고, 위험한 영상을 놓치는 경우 **(오류)

2. StockClaw: 암호화폐 가격 예측

• 문제: 최신 AI(대규모 언어 모델) 가 뉴스나 보고서를 분석해서 "주가 오를까?"를 예측하려 했지만, 전혀 못 했습니다. (정확도 23%)
• MAGNET 의 해결책: AI 가 스스로 깨달았습니다. "뉴스를 읽고 글을 쓰는 건 잘하지만, 숫자 예측은 내 전공이 아니야. 기계 학습 (ML) 모델이 하는 게 낫겠다."
• 결과: AI 가 스스로 접근 방식을 바꿔 기계 학습 모델만 사용하자, 예측 정확도가 41% 에서 55% 로 크게 향상되었습니다.

3. Genkidama: AI 의 학습 방법 최적화

• 문제: 새로운 AI 모델을 만들 때, 어떤 설정 (학습 속도, 크기 등) 을 써야 할지 몰라 헤맸습니다.
• MAGNET 의 해결책: 10 단계에 걸쳐 54 가지 설정을 자동으로 테스트했습니다.
• 결과: 학습 오류를 16.7% 나 줄이는 최적의 설정을 찾아냈습니다. 이는 인간 연구원이 수개월 걸려 찾을 수 있는 결과를 몇 시간 만에 찾아낸 것입니다.

---

🌟 왜 이것이 중요한가요?

1. ** democratization **(민주화) 이제 거대 기업만 AI 를 만드는 시대가 끝납니다. 일반인도 자신의 컴퓨터로 AI 연구에 참여하고, 그 결과물을 얻을 수 있습니다.
2. 자율성: 인간이 "이렇게 해"라고 지시할 필요 없이, AI 가 실패를 통해 스스로 배우고 발전합니다.
3. 공정한 경제: 기여한 만큼 보상을 받기 때문에, 전 세계의 컴퓨터 자원을 모아 거대한 연구소를 만들 수 있습니다.

💡 결론

MAGNET 은 "인공지능이 스스로 성장하는 탈중앙화 생태계"입니다.
마치 "각자 다른 전공을 가진 천재들이 모여, 서로의 지식을 공유하고 블록체인으로 공정한 보상을 받으며, 스스로 실패를 분석해 더 똑똑해지는 거대한 연구소"라고 생각하시면 됩니다.

이 기술이 완성되면, 앞으로는 우리가 상상하지 못했던 새로운 분야의 AI 전문가들이 우리 집 컴퓨터에서 태어나 세상을 바꿀지도 모릅니다.

기술 요약

1. 문제 정의 (Problem)

현재 대규모 언어 모델 (LLM) 연구 및 개발 환경은 다음과 같은 심각한 중앙집중화 및 비효율성 문제를 안고 있습니다.

• 중앙집중화된 연구: 최첨단 모델 훈련에는 수천 개의 GPU, 독점 데이터셋, 대규모 엔지니어링 팀이 필요하여 소수 대기업만 접근 가능합니다.
• 수동 연구 프로세스: 데이터 선별, 아키텍처 탐색, 하이퍼파라미터 최적화, 평가 등 연구의 핵심 루프는 여전히 인간의 수동 개입에 의존하는 병목 현상이 존재합니다.
• 하드웨어 접근성 부족: 모델 추론 (Inference) 에도 고사양 GPU 가 필수적인 경우가 많아, 일반 상용 하드웨어 (CPU) 기반의 분산 추론이 어렵습니다.
• 지식 통합의 부재: 개별 노드에서 훈련된 전문가 모델들을 효율적으로 통합하여 더 강력한 일반 모델로 만드는 메커니즘이 부족합니다.

2. 방법론 (Methodology)

MAGNET 은 이러한 문제를 해결하기 위해 4 가지 핵심 기둥 (Four Pillars) 으로 구성된 분산형 자율 시스템을 제안합니다.

1) 자율 연구 (Autoresearch)

• 개념: 카파디 (Karpathy) 의 '반복적 연구 방법론'을 분산 환경으로 확장한 개념입니다.
• 작동 원리: 단일 스크립트가 아닌 분산 노드 네트워크에서 오차 기반 (Error-driven) 반복을 수행합니다.
  • 루프: 데이터 생성 → 훈련 → 평가 → 오차 분석 → 전략 전환 (Pivot) → 재훈련.
  • 특징: 고정된 검색 공간 (Grid Search) 이 아닌, 이전 버전의 실패 패턴을 분석하여 아키텍처나 특징 공학 (Feature Engineering) 을 근본적으로 변경하는 '전략적 전환'을 자동화합니다.
  • 수렴 감지: 성능 향상이 임계치 이하로 지속될 경우 계산을 중단하여 자원을 절약합니다.

2) BitNet b1.58 훈련 및 추론

• 목적: 상용 CPU 하드웨어에서의 추론을 가능하게 하여 진입 장벽을 낮춥니다.
• 기술: 3 진수 가중치 {-1, 0, +1} 를 사용하는 BitNet b1.58 아키텍처를 채택했습니다.
• 구현: bitnet.cpp 를 통해 Python FFI 오버헤드 없이 C++ 프로세스 내에서 추론을 수행하며, LLaMA 호환 아키텍처 (SwiGLU, RMSNorm, GQA, RoPE) 를 사용하여 GGUF 포맷으로 내보내 CPU 에서 실행 가능합니다.

3) DiLoCo 기반 분산 병합 (Distributed Merging)

• 목적: 개별 노드에서 훈련된 이질적인 전문가 모델들을 통합합니다.
• 기술: DiLoCo (Distributed Local Coordinate Descent) 프로토콜을 사용합니다.
  • 노드들은 로컬에서 많은 스텝 (H=500 등) 을 훈련한 후, 드물게만 그라디언트를 동기화하여 통신 비용을 500 배 절감합니다.
  • MAGNET 은 이 프로토콜을 확장하여 도메인 가중치 (Domain-weighted) 를 적용, 서로 다른 도메인 (예: 의료, 법률, 코드) 에서 훈련된 전문가 모델들을 통합하여 집단적 지능을 형성합니다.

4) 온체인 인센티브 루프 (On-Chain Incentive Loop)

• 목적: 분산 네트워크의 참여를 유도하고 기여도를 투명하게 검증합니다.
• 기술: HOOTi EVM 체인 기반의 스마트 컨트랙트를 활용합니다.
  • Commit-Reveal: 프론트러닝을 방지하기 위해 결과 제출 전 해시값을 먼저 제출하는 방식을 사용합니다.
  • 차등화된 슬래싱 (Slashing): 기여도 검증 실패나 악의적 행동에 따라 보상을 차감하거나 노드를 배제합니다.
  • 노드 티어 시스템: 하드웨어 능력 (GPU, CPU, 저장소 등) 에 따라 보상 배수를 다르게 적용합니다.

3. 주요 기여 (Key Contributions)

1. 4 기둥 아키텍처 설계: 자율 연구, CPU 기반 3 진수 훈련, 분산 병합, 온체인 인센티브를 통합한 최초의 분산형 연구 아키텍처를 제시했습니다.
2. Autoresearch 방법론의 실증: 3 가지 다른 도메인 (비디오 안전, 암호화폐 예측, LLM 아키텍처 최적화) 에서 자율 연구 파이프라인이 인간 연구자보다 효율적으로 최적화를 수행함을 입증했습니다.
3. Genkidama 모델 개발: 6 억 1,800 만 파라미터 규모의 BitNet b1.58 모델을 훈련하고, HuggingFace 및 bitnet.cpp 를 통한 CPU 추론 파이프라인을 완성했습니다.
4. 오픈소스 및 분산 연구 표준: 연구 방법론과 코드를 오픈소스로 공개하여, 중앙집중적 연구의 한계를 넘어선 새로운 분산 연구 패러다임을 제시했습니다.

4. 실험 결과 (Results)

세 가지 사례 연구를 통해 자율 연구의 유효성을 입증했습니다.

• Case 1: Zevor (비디오 안전 분류)

  • 문제: 수동 규칙 기반 시스템 (Bal. Acc 0.9499) 을 대체하기 위해 엔드 - 투 - 엔드 트랜스포머를 시도했으나 실패 (0.9287).
  • 해결: Autoresearch 가 '전체 신호를 학습'하는 대신 '기존 신호를 결합하는 결정 헤드 (Decision Head)'를 학습하도록 전략을 전환 (트랜스포머 → 트리 기반 모델).
  • 결과: Bal. Acc 0.9851 달성 (기존 규칙 대비 +3.5%, 트랜스포머 대비 +5.6%). 거짓 음성 (False Negative) 0 개 달성.

• Case 2: StockClaw (암호화폐 방향성 예측)

  • 문제: LLM 기반 판단은 정확도가 낮음 (F1 0.173).
  • 해결: LLM 을 보고서 생성용으로만 사용하고, 방향성 판단은 처음부터 ML 모델 (LGBM, XGBoost 등) 로 재구축. 데이터 규모를 14 일에서 6.5 년으로 확장.
  • 결과: 히트율 41.0% → 54.9% 로 향상. LLM 과 ML 의 역할을 명확히 분리하는 인사이트 도출.

• Case 3: Genkidama (BitNet 아키텍처 최적화)

  • 문제: BitNet b1.58 의 하이퍼파라미터 (폭, 깊이, 학습률, 컨텍스트 길이 등) 최적화.
  • 해결: 10 단계에 걸친 체계적인 탐색 (Systematic Search) 을 자동화.
  • 결과: 검증 손실 (Validation Loss) 16.7% 감소 (7.6833 → 6.3990). 컨텍스트 길이 확장이 가장 큰 개선 요인임을 발견. 6 억 1,800 만 파라미터 모델의 사전 훈련 완료 및 ORPO 정렬 진행 중.

5. 의의 및 결론 (Significance)

• 연구 민주화: GPU 가 없는 일반 CPU 노드도 추론 및 평가에 참여할 수 있게 하여 AI 연구의 진입 장벽을 대폭 낮췄습니다.
• 자율적 발견: 인간 연구자가weeks 단위로 도달할 수 있는 전략적 전환 (예: 트랜스포머에서 트리 모델로 변경) 을 시스템이 자동으로 발견하여 효율성을 극대화했습니다.
• 분산형 지식 네트워크: 개별 도메인의 전문가 모델들을 분산 병합 (DiLoCo) 을 통해 통합함으로써, 단일 거대 모델의 한계를 넘어선 네트워크 수준의 지능을 구현할 가능성을 제시했습니다.
• 검증 가능성: 온체인 기술을 통해 기여도와 보상을 투명하게 검증할 수 있는 시스템을 구축하여, 신뢰 기반의 분산 AI 생태계 조성을 위한 토대를 마련했습니다.

결론적으로, MAGNET 은 단순히 모델을 훈련하는 것을 넘어, 데이터 수집부터 모델 배포, 평가, 그리고 인센티브 분배까지 전 과정을 자동화하고 분산화한 최초의 종합 시스템으로, AI 연구의 미래 패러다임을 제시합니다.