WaterSIC: information-theoretically (near) optimal linear layer quantization
本論文は、入力アクティベーションの共分散行列に依存せず情報理論限界から最大 0.255 ビット以内の誤差で線形層を量子化できる「WaterSIC」という新アルゴリズムを提案し、Llama や Qwen などの大規模言語モデルにおいて 1〜4 ビットの全量子化レートで最先端の性能を達成したことを示しています。
172 件の論文
本論文は、入力アクティベーションの共分散行列に依存せず情報理論限界から最大 0.255 ビット以内の誤差で線形層を量子化できる「WaterSIC」という新アルゴリズムを提案し、Llama や Qwen などの大規模言語モデルにおいて 1〜4 ビットの全量子化レートで最先端の性能を達成したことを示しています。
本論文は、過剰完全な安定子表現を用いた量子低密度パリティ検査符号の信念伝達復号において、初期化に用いる対数尤度比のミスマッチが低ノイズ領域の誤り率に大きな影響を与える一方で、最適性能は狭い範囲に限定されず広範なミスマッチに対して頑健であることを示し、これをチャネルの正確な一致ではなく正則化制御パラメータとして解釈する新たな視点を提供するものである。
この論文は、連続状態確率システムの離散化によるエントロピー誤差の新たな上限を導出することで、予測可能性(エントロピー)と制御性能を正式な保証の下で両立させる制御器合成手法を提案しています。
本論文は、複数の関連タスクを組み合わせるマルチタスク学習が、追加の正則化項を伴う従来の定式化と漸近的に等価であり、汎化誤差の改善や「ダブルディセンダー現象」の遅延・緩和をもたらすことを、理論的解析と実証研究を通じて明らかにしています。
本論文は、Nanopore シーケンサーの適応サンプリング機能を活用して PCR 不要なランダムアクセスを実現し、JPEG2000 のプログレッシブ復号と DNA 符号化を組み合わせることで、画像の解像度に応じて必要な DNA 配列のみを選択的に読み取り、DNA データストレージの読み出しコストを削減する手法を提案するものである。
本論文は、動的ウェイト AMM の最適リバランスにおいて、ウェイト軌道に依存する裁定損失が KL 発散で記述され、その最小化には球面上の測地線である SLERP(ヘリングャー座標における一定速度の補間)が自然な解であることを示し、これにより三角関数なしで再帰的な AM-GM 二分法が有効であることを証明している。
本論文は、ミリ波ネットワークの指向性と遮蔽特性を活用した空間認識型二次ライセンス共有(SLS)の枠組みを確率幾何学を用いて解析し、遮蔽条件や指向性がセカンダリユーザーの送信機会と両オペレータの被覆確率に与える影響を定量化するものである。
量子タンナー符号のデコーディングにおいて、局所符号構造を活用して一般化されたチェックノードを最大事後確率(MAP)復号器で処理する手法を提案し、有限長設定において標準的な BP 復号やリレー BP 復号、さらには一般化自転車符号を凌駕する性能向上を実証するとともに、他の qLDPC 符号クラスにおける一般化の限界と理論的なサイクル分析を明らかにしています。
本論文は、SCMA の多様性利得と BIA の多重化利得を統合し、複雑度や復号遅延、チャネルコヒーレンス時間の制約といった既存方式の課題を解決する新規多重アクセス方式「SBMA」を提案し、その理論的解析とシミュレーションを通じて優れた誤り率性能とプライバシー保護能力を実証しています。
この論文は、局所差分プライバシー制約下での仮説選択問題において、相互作用をわずかに用いることで非相互作用アルゴリズムのサンプル複雑性の下限を破り、 分布クラスに対して最適なサンプル数 を達成するアルゴリズムを提案し、その証明に「クリティカルクエリ」という新たな概念を導入したことを示しています。
本論文は、量子状態排除および量子チャネル排除の誤り確率指数について、マルチバリアント・ログ・ユークリッド・チェルノフ発散に基づく単一文字の上界を導出するとともに、従来の最良の上界を改善し、特に対称二値チャネル弁別や古典チャネル排除といった特殊ケースにおける重要な成果を提示しています。
この論文は、最適腕の数が既知である確率的マルチアームバンディット問題において、既存の理論的限界を厳密に上回る新たな情報理論的下界を導出し、追跡・停止(Track-and-Stop)アルゴリズムを修正することでその下界に一致する漸近的な最適性を証明するものである。
本論文は、サブ 6GHz とミリ波の中間帯域である FR3(7-24GHz)が、ELAA や近接場・遠方場統合チャネルモデルなどの技術を活用し、6G における統合 sensing と通信(ISAC)の高性能化に果たす可能性と課題を論じています。
本論文は、中継器の支援のもとで宛先がメッセージ復号と未知パラメータ推定を同時に行う双基地型統合 sensing・通信システムを対象に、通信・ sensing 性能のトレードオフを容量歪み関数で定式化し、上限と下限の導出および特定条件下での最適性を示すことで、その根本的な限界を明らかにしています。
この論文は、エントロピーと対称的相互情報量に基づいてカテゴリカル確率変数の距離を定義し、それを商空間に拡張するとともに、その空間上で距離位相と両立する自然な可換モノイド構造が存在することを示しています。
この論文は、対称性の破れにより未解決だった均一なドリフト下における完全吸収球受信機を持つ 3 次元チャネルのインパルス応答を、ガリルツォフ測度変換を用いた厳密な解析解として導出するものである。
本論文は、PANDA アルゴリズムの欠点であった隠れた多項対数因子を除去し、任意の次数制約下での結合クエリや論理規則に対する出力サイズをより効率的に評価する新しい確率不等式と、データのスケーリングに基づいた動的超平面切断を用いた「PANDAExpress」というより簡潔で高速なアルゴリズムを提案するものである。
この論文は、支配測度の存在を仮定しない一般の状況において、二つの確率測度集合間の検定可能性に関するル・カムのプログラムを完成させ、有界有限加法測度空間における凸包の閉包を用いた必要十分条件を提示するものである。
本論文は、確率的な神経符号(尤度関数か事後分布か)を区別するための実験刺激分布を最適化する情報理論的枠組みを提案し、KL 発散に基づく「情報ギャップ」を最大化することで、神経集団がどのように感覚的不確実性を表現・処理するかを解明する原理的な実験設計を可能にするものである。
本論文は、FDD 方式の Massive MIMO システムにおける CSI フィードバック効率を向上させるため、CSI 圧縮をマスクトークン予測タスクとして再定義し、自己情報に基づく情報理論的マスク選択戦略を採用した、大規模言語モデル(LLM)を活用した新たなフレームワークを提案するものである。