NativeTernary: A Self-Delimiting Binary Encoding with Unary Run-Length Hierarchy Markers for Ternary Neural Network Weights, Structured Data, and General Computing Infrastructure

この論文は、2 ビットペアを分割して3 進数値を表現し、ユニコードの連続したデリミタを用いて意味的階層の深さを符号化する「NativeTernary」と呼ばれる新しいバイナリ符号化方式を提案し、これにより大規模言語モデルの3 進重み保存から構造化データ、IoT、医療機器に至るまで、ハードウェア変更なしで汎用コンピューティング基盤を実現する道筋を示しています。

要約

🌟 核心となるアイデア：「沈黙」が意味を持つ

通常、コンピュータはデータを「0」と「1」の連続したビットの羅列として扱います。まるで、誰かがひたすら「ドット、ドット、ドット…」とモールス信号を送り続けているようなものです。どこで「単語」が終わって、どこで「文」が始まるのかは、その信号とは別に「見出し」や「メモ」として付加する必要があります。

NativeTernary の発想は全く逆です。

人間の会話を想像してください。

• 単語と単語の間には、少しの**「間（ポーズ）」**があります。
• 文と文の間には、もう少し長い**「間」**があります。
• 話題が変わる時には、さらに長い**「間」**があります。

この論文は、「その『間』そのものが、データの一部である」と捉え直しました。
「0」と「1」の組み合わせの中に、特別な「間（区切り）」の記号を混ぜ込み、「その記号が何回連続しているか」で、それが「単語の区切り」なのか「文の区切り」なのかを自動的に判断するという仕組みです。

🧩 具体的な仕組み：2 つの箱と「区切り」

コンピュータは通常、2 桁の数字（00, 01, 10, 11）の 4 通りを扱えます。
NativeTernary はこの 4 通りを以下のように使い分けます。

1. データ箱（3 種類）: 実際の情報（数字や文字）を運ぶ。
   • 例：「00」「01」「10」
2. 区切り箱（1 種類）: 情報の境界を示す「沈黙」や「休止」。
   • 例：「11」

ここがすごいポイント：

• 「11」が 1 回現れたら → 「単語が終わったよ」
• 「11」が 2 回連続（1111）したら → 「文が終わったよ」
• 「11」が 3 回連続（111111）したら → 「段落が終わったよ」

つまり、「区切り」の長さ（回数）そのものが、構造（階層）を表しているのです。追加のメモやヘッダーは不要で、データの流れの中に自然に埋め込まれています。

🏗️ なぜこれが画期的なのか？

1. AI（人工知能）の重量級選手を軽量化

最近の AI（BitNet など）は、重たい「浮動小数点数」ではなく、単純な「-1, 0, +1」の 3 つの値だけで動きます。しかし、今のコンピュータはこれを「0 と 1」の箱で無理やり詰め込んで保存しています。
NativeTernary は、この「-1, 0, +1」をそのまま 2 桁の箱に収め、AI の層（レイヤー）ごとの区切りも自動的に作れるため、AI のモデルを格納するサイズを劇的に減らし、読み込みを速くすることができます。

2. 壊れても直せる「自己修復力」

もしデータ送信中にノイズが入って、一部の数字が壊れても、受信側は「あ、ここで『11』が 2 回続いた！これは文の終わりだ！」とすぐに気づき、その瞬間から再び同期を取って読み直せます。
まるで、ラジオの電波が乱れても、次の「おはようございます」の言葉で「あ、ここから新しい放送が始まったんだ」と気づくようなものです。

3. 電池を食わない（省電力）

特に面白いのは、「00」を区切り記号にするバージョンです。
電子回路では、「0」から「1」へ切り替わる瞬間に電力を消費します。区切り記号を「00」にすれば、区切りを送る間は電気が全く流れません。

• 心臓のペースメーカーや宇宙探査機など、電池が限られている極小の機器にとって、この「区切りで電力を節約する」アイデアは革命的なメリットになります。

🚀 現実世界での活用例

この技術は、ハードウェアを全部買い替える必要はありません。既存のコンピュータやスマホのソフトウェア（プログラム）のルールを変えるだけで導入できます。

• スマートウォッチや医療機器: 心拍数や血糖値の微小な変化（上がり・下がり・変化なし）を、電池をほとんど使わずに送信。
• 自動運転車: 数百個のセンサーからのデータを、瞬時に整理して処理。
• 衛星通信: 地球から遠く離れた衛星から、ノイズの多い環境でもデータを確実に送受信。
• ゲーム: オンラインゲームで、プレイヤーの位置や状態の「変化分」だけを素早く送る。
• 株式取引: 株価が「上がった」「下がった」「変わらない」の 3 状態だけを瞬時に記録・伝達。

🎯 まとめ

この論文が言いたいことはシンプルです。

「コンピュータは『0』と『1』しか話せないと思っているけど、実は『00, 01, 10』の 3 つの言葉と、それらを区切る『間（11）』の長さを使うだけで、データそのものに『構造』と『意味』を持たせられるんだよ。しかも、それは既存の機械で、ハードウェア変更なしに実現できるんだ。」

まるで、**「言葉の並び方そのもので、文法や段落を表現する新しい言語」**を発明したようなものです。これにより、AI は軽くなり、IoT 機器は長く動き、通信は頑強になります。

技術概要

NativeTernary：三値ニューラルネットワーク重み、構造化データ、および汎用コンピューティングインフラのための自己区切り型バイナリ符号化

本論文は、Maharshi Savdhariya 氏によって提案されたNativeTernaryという新しいバイナリ符号化方式について詳述しています。これは、既存のバイナリハードウェアインフラを変更することなく、三値データ（$\{-1, 0, +1\}$ または $\{0, 1, 2\}$）と多階層の構造的区切りを単一のビットストリームに統合して表現する手法です。

以下に、問題定義、手法、主要な貢献、結果、および意義について技術的な要約を記述します。

---

1. 問題定義 (Problem)

現在のコンピューティングシステムには、以下の根本的な課題が存在します。

• 構造化情報の欠如: 人間の言語（単語、文、段落の区切り）やニューラルネットワークの構造（レイヤー、テンソル境界）には本質的な階層性がありますが、従来のバイナリ通信やストレージでは、データと構造（ヘッダー、メタデータ、区切り文字）が分離されています。構造情報は常にオーバーヘッドとして追加されます。
• 三値モデルの非効率な表現: Microsoft の「BitNet b1.58」に代表されるように、重みが $\{-1, 0, +1\}$ のみで構成される大規模言語モデル（LLM）が登場しています。しかし、これらのモデルは依然として浮動小数点データ用に設計されたバイナリコンテナ（GGUF など）で保存されており、三値データの本質的な密度や構造を反映した「ネイティブなワイヤ形式」が存在しません。
• ハードウェア制約: 従来の三値コンピューティング（例：Setun）は専用ハードウェアを必要とし、既存の二値インフラとの互換性がありませんでした。

2. 手法 (Methodology)

NativeTernary は、2 ビットペア（4 通りのパターン：00, 01, 10, 11）の空間を以下のように再定義することで、上記の問題を解決します。

2.1 基本符号化方式

• データシンボルと区切り文字の分割: 4 つの 2 ビットペアのうち、3 つをデータシンボル（三値値）に、1 つを「構造区切り文字（Delimiter）」として予約します。
  • 主要実装例: データに 00, 01, 10 を使用し、11 を区切り文字として使用します。
  • 電力効率実装例: データに 01, 10, 11 を使用し、00 を区切り文字として使用します（CMOS でのスイッチング動作を最小化するため）。
• 三値データの表現:
  • 平衡三値 (Balanced): $\{-1, 0, +1\}$（ニューラル重み、DSP 向け）。
  • 無符号三値 (Unsigned): $\{0, 1, 2\}$（カウンター、インデックス向け）。

2.2 階層構造のエンコーディング（ユニラリ・ランレングス）

NativeTernary の核心的な革新は、区切り文字の連続数（ユニラリ・ランレングス）によって意味的な階層の深さを表現する点にあります。

• 11 (2 ビット): レベル 1（文字/サブワード境界）
• 1111 (4 ビット): レベル 2（単語境界）
• 111111 (6 ビット): レベル 3（文境界）
• 11111111 (8 ビット): レベル 4（段落/トピック境界）
• 特徴: 境界の頻度が低いほど（深い階層ほど）、区切り文字の長さが長くなります。これはハフマン符号の概念を「記号」ではなく「構造境界」に適用したものであり、追加のメタデータなしで無限に拡張可能な階層を表現します。

2.3 デコーダの設計

• デコーダは非常に単純なステートレスな状態機械（10 行程度の疑似コード）で実装可能です。
• デリミタペアを検出するだけで同期を回復できるため、ビットストリームの破損に対して耐性があります。
• デリミタの選択（11 か 00 か）はストリームヘッダーで宣言され、ハードウェア変更なしでソフトウェア層で切り替え可能です。

3. 主要な貢献 (Key Contributions)

1. 三値データのネイティブなワイヤ形式の確立: BitNet b1.58 などの三値 LLM 重みを、浮動小数点形式のオーバーヘッドなしに、2 ビットペアで直接表現する最初の標準的な形式を提供します。
2. 自己区切り型かつ自己同期型の階層エンコーディング: ヘッダーやメタデータなしに、データストリーム自体に「単語」「文」「段落」などの境界を埋め込む方式を提案しました。
3. ハードウェア非依存の実装: 既存の二値インフラ（CPU、メモリ、ネットワーク）を一切変更せず、ソフトウェア/ファームウェア層でのみ実装可能です。
4. 電力最適化の選択肢: CMOS 論理回路におけるスイッチング電力を最小化するため、区切り文字を 00（すべて Low）に設定するバリアントを提案し、超低電力 IoT や医療機器への適用を可能にしました。
5. 包括的な特許出願: 4 つの 2 ビットパターンのいずれかをデリミタとして使用するすべての組み合わせを特許請求の範囲に含めています。

4. 結果と性能 (Results & Performance)

• 情報密度: データ部分のみで $log_2(3)/2 \approx 0.792$ ビット/ビットの情報を伝送可能です（三値ネイティブデータの場合）。
• オーバーヘッドの低減: 自然言語処理において、BERT などのモデルが使用する [SEP] や [CLS] トークン（8〜16 ビット）に比べ、境界の表現コストが階層に応じて 2〜10 ビットに抑えられ、特に深い階層で効率的です。
• デコーダの軽量さ: 実装サイズは 200 バイト以下の C コードで済み、マイクロコントローラー（ARM Cortex-M など）でも実行可能です。
• 耐障害性: デリミタを検出することで即座にフレーム同期を回復できるため、パケット損失やビットエラーが発生しやすい環境（衛星通信、IoT）で有効です。

5. 意義と応用分野 (Significance & Applications)

NativeTernary は、単なる圧縮技術ではなく、**「三値ネイティブな汎用コンピューティングパラダイム」**への移行を可能にする基盤技術です。

• AI/ML: 三値ニューラルネットワークの重み保存（GGUF の代替）、推論時のメモリ帯域幅の削減。
• 自然言語処理 (NLP): トークンストリームに明示的な構造的境界を持たせることで、アテンション機構の効率化や位置エンコーディングの改善が可能になります。
• IoT・エッジコンピューティング: 超低電力デバイス（埋め込み医療機器、センサーノード）において、スイッチング電力を最小化し、帯域幅を節約します。
• 産業・自動車・医療: 車載センサー、産業用センサー、医療機器からの差分データ（$\{-1, 0, +1\}$）をネイティブに符号化し、自己同期機能により通信の信頼性を向上させます。
• 金融・ゲーム: 高頻度取引のティックデータや、マルチプレイヤーゲームの状態差分を、低遅延かつコンパクトに伝送します。

結論

NativeTernary は、ハードウェアの変更を伴わずに、既存の二値インフラ上で三値データと多階層構造を同時に効率的に伝送・保存するための革新的な符号化方式です。特に、BitNet などの次世代 AI モデルの展開や、リソース制約の厳しいエッジデバイスにおけるデータ処理において、その実用性と重要性が極めて高いと結論付けられています。