技術概要：Dywave：異種 IoT センシング信号のためのイベント整合型動的トークナイズ

1. 問題定義

インターネット・オブ・シングス（IoT）システムは、人間の活動認識（HAR）や環境モニタリングなどのアプリケーションを支援するために、IMU、心電図（ECG）、音響などの異種センシング信号の連続ストリームを生成する。自然言語（単語）やビジョン（空間パッチ）とは異なり、これらの信号には直感的で離散的な意味単位が存在しない。これらは本質的に非定常であり、マルチスケールかつ時間的に異質であり、情報は均一な間隔ではなく、物理的イベント間の遷移に符号化されている。

現在の最先端のアプローチは、これらの信号をトークナイズするために均一ウィンドウ化（固定サイズのパッチング）に依存している。この手法には 3 つの重大な限界が存在する：

1. 意味の不一致：固定された境界は、本質的な物理的イベントの遷移とほとんど整合せず、イベントの分断や背後にある意味の不明瞭化を招く。
2. 非効率性：均一なパッチングは、冗長で静穏な区間と、顕著で動的なバーストに対して等しい計算リソースを割り当て、情報量を増やすことなく入力トークン長と計算コストを膨張させる。
3. ハイパーパラメータへの感度：最適なパッチサイズとストライドはアプリケーション固有であり、広範で時間のかかるドメインごとのチューニングを必要とし、普遍的に有効な構成は存在しない。

これにより、物理的な整合性を失ったり、過度の遅延を招いたりすることなく、大規模なシーケンスモデルが生のセンシング信号を効果的に処理できない「トークナイズのギャップ」が生じている。

2. 手法：Dywave

著者は、本質的な時間構造と背後にある物理的イベントに整合したコンパクトな入力表現を構築する動的トークナイズフレームワークであるDywaveを提案する。Dywave は、アーキテクチャの変更なしに、トランスフォーマーや Mamba2 などの主流のバックボーンエンコーダーと互換性のあるモジュール型フロントエンドとして機能する。パイプラインは 4 つの段階で構成される：

2.1. 階層的埋め込み抽出

Dywave は、生信号をマルチ解像度の時間 - 周波数表現に分解するために最大重なり離散ウェーブレット変換（MODWT）を利用する。標準的な DWT と異なり、MODWT は非間引きであり、元のシーケンス長を保持する。

• ディテールストリーム：軽量な畳み込み層を用いて高周波の過渡現象を捉える。
• コンテキストストリーム：適応的ダウンサンプリングを備えた軽量なアンダーグラストランスフォーマーを用いて、緩やかに変化する長距離の傾向を符号化する。
• 融合：これらのストリームを連結し、微細な過渡現象とグローバルなコンテキストの両方を捉える統合された階層的埋め込み（$E_F$）を形成する。

2.2. 時間的アンカーの形成

固定セグメンテーションの代わりに、Dywave は意味的遷移において時間的アンカーを適応的に識別する。

• 顕著性推定：モデルは、階層的埋め込みの投影されたキーベクトルとクエリベクトル間のコサイン類似度を測定することで、隣接するタイムステップ間の表現変化を計測し、イベントの顕著性（$P_t$）を推定する。高い顕著性は、急激な表現のシフト（イベント）を示す。
• アンカー選択：ノイズと過剰な割り当てを回避するため、Dywave は時間的ノンマキシマム抑制（NMS）を適用し、その後 Top-K 選択を適用してアンカー（$A$）のコンパクトなセットを抽出する。アンカーの数は、圧縮率 $\tau$ によって制限される。

2.3. 動的時間情報融合

アンカーが識別されると、Dywave は隣接するタイムステップをアンカー整合型トークンに集約する。

• クラスター形成：各タイムステップは、時間的近接性に基づいて最も近いアンカーに割り当てられる。
• 顕著性重み付けプーリング：各クラスター内の埋め込みは、重みとして顕著性スコアを使用して集約される。これにより、情報に富む遷移を優先しつつ、安定した冗長な区間を圧縮する。
• 出力：その結果、生信号の持続時間ではなく意味的複雑さに適応する長さを持つトークンのコンパクトなシーケンス（$E$）が得られる。

2.4. 訓練目的

圧縮されたトークンがマルチスケール情報を保持することを保証するため、Dywave は補助的な再構成損失を採用する。軽量なデコーダーが、融合された埋め込みから元のウェーブレット係数を再構成する。総損失は、ダウンストリームタスクの損失と再構成損失の組み合わせである（$L = L_{task} + \lambda_{rec} \cdot L_{rec}$）。これにより、高周波の過渡現象と低周波の傾向の両方を保持するように圧縮が正則化される。

3. 主要な貢献

1. トークナイズギャップの特定：本論文は、物理的センシング信号に人間が直感的に理解できる意味単位が存在しないこと、および均一なパッチングが物理的イベントのダイナミクスと整合しないことを浮き彫りにしている。
2. Dywave フレームワーク：ウェーブレットベースの階層的分解と顕著性駆動型アンカー選択を用いて、生信号をコンパクトでイベント整合型のトークンに変換する、新規の動的トークナイズモジュール。
3. 実証的検証：HAR、ストレス評価、物体検出を網羅する 5 つの実世界データセットにおける広範な評価により、優れた性能と効率性が実証された。

4. 実験結果

Dywave は、Ego4D、MOD、PAMAP2、RWHAR、WESAD の 5 つのデータセットで、トランスフォーマーおよび Mamba2 バックボーンを用いて評価された。

• 精度：Dywave は、HAR タスクにおいて、特に Mamba2 バックボーンを使用する場合、PatchTST、MedFormer、DropPatch などの最先端手法を最大12% 高い精度で上回った。
• 効率性：主流のシーケンスモデルにおいて入力トークン長を最大**75%**削減し、計算オーバーヘッドを大幅に低減した。
• トークン分布：トークン数が信号長と線形に相関する固定パッチ法とは異なり、Dywave のトークン数は意味構造によって支配される。例えば、Ego4D（30 秒のシーケンス）において、Dywave は PatchTST よりもはるかに少ないトークン数でより高い精度を達成している。
• ロバスト性：
  • ドメインシフト：Dywave は、ドメイン間汎化（例：地震から音声へ）やヘッドオンリー微調整において高い精度を維持し、固定パッチ法が深刻な劣化を被るのとは対照的である。
  • ノイズ：Dywave はガウスノイズの注入に対してより高いロバスト性を示し、性能の低下がベースラインよりも緩やかである。
  • シーケンス長：ハイパーパラメータの再チューニングなしに、さまざまなシーケンス長（5 秒から 30 秒）に対して良好に汎化するのに対し、固定パッチ法は広範なグリッドサーチを必要とする。
• マイクロアクティビティ分解：Ego4D に対する定性的分析により、Dywave は「掃除」のような粗いアクティビティを「到達」や「拭き取り」などの微細なマイクロアクティビティに自動的に分解し、境界を知覚可能な運動変化に整合させることが示された。

5. 意義と主張

著者は、Dywave が人間中心のセンシングにおける根本的なボトルネック、すなわち現在のトークナイズ方式がセンシングデータの物理的構造を尊重できないという課題に対処していると主張する。静的で均一なウィンドウから動的でイベント整合型のトークナイズへ移行することで、このフレームワークは以下を実現する：

• 物理的に裏付けられた表現：トークンは任意の時間スライスではなく、明確な物理的イベントに対応する。
• 適応的効率性：計算リソースは情報密度に基づいて割り当てられ、エッジデバイスにおける遅延とメモリ使用量が削減される。
• 改善された汎化：この手法は、ドメイン固有のハイパーパラメータチューニングへの依存度が低い、転移可能な表現を学習する。

本論文は、IoT システムにおけるスケーラブルで意味のある学習には、適応的で物理情報に基づいた入力表現が不可欠であると結論付けている。Dywave は単なる性能向上ツールではなく、連続的なセンサーストリームと離散的な深層学習入力との間のギャップを埋めるための原理的なアプローチとして位置づけられている。著者は、Dywave は前処理のオーバーヘッドを導入するが、これはバックボーン計算の大幅な削減によって相殺され、リソース制約のある長期間のセンシングシナリオに特に適していると指摘している。