Text-Preserving Lossy Text Compression: A Study of Strategic Deletion and LLM Reconstruction

技術的サマリー：テキスト保存型損失圧縮

問題定式化
本論文は、自然言語処理パイプラインにおける従来のロスレステキスト圧縮（例：zlib、bzip2、LZMA）の限界に焦点を当てている。これらの手法では圧縮率が限定的であり、ビット単位の完全再構築が求められるため、帯域幅やコンテキストウィンドウが制約される環境での有用性が制限される。著者は、「テキスト保存型損失セマンティック圧縮」のフレームワークを提案する。制約のないセマンティック符号化（潜在ベクトルを出力）や抽象的要約（ソースを再記述）とは異なり、このアプローチは戦略的にトークンを削除することで元のテキストの「骨格」を伝送し、かつ生成物がテキスト形式であることを保証する。受信側で LLM デコーダが元のコンテンツを高いセマンティック忠実度で再構築し、再構築前後の検査、編集、ルーティングにおけるテキストの有用性を維持することを目的とする。

手法
本フレームワークは、2 段階のエンコード・デコード問題として機能する。

1. エンコーダ（戦略的削除）: エンコーダは、長さ $L$ のソーステキスト $T$ を、トークンを削除することで長さ $r_{keep} \cdot L$ の劣化表現 $\tilde{T}$ に縮小する。本論文では、3 つの熟練度レベルにわたる削除戦略の進展を評価する。
   • レベル 1（文字レベル）: 均等ステップ削除と確率的ベースライン（ガウス、ベルヌーイ、ポアソン）。これらは下限のベンチマークとして機能するが、言語構造を無視する。
   • レベル 2（単語レベル）:
     • WordLen: 長さヒューリスティックに基づき、小文字や母音を適応的に削除。
     • WordFreq: ズィップの法則に基づく頻度スコアを用いた静的戦略。高頻度で予測可能な単語の削除を優先し、希少で情報密度の高いコンテンツを保持する。
     • Opt（LP 最適化）: 6 つのトークンバケット（低/中/高頻度、句読点、その他、空白）に削除割当を配分する線形計画法アプローチ。期待されるセマンティック保持を最大化する。
   • レベル 3（セマンティックレベル）:
     • エントロピーベース: GPT-2 のサプライズ（トークンごとの文脈的予測可能性）に基づく削除。
     • ハイブリッド手法: 頻度とサプライズの信号の組み合わせ（例：Entropy-LP、Entropy-in-FreqBuckets、Hybrid-$\alpha$）。
2. デコーダ（セマンティック再構築）: 生成 LLM が骨格から元のテキストを再構築する。本研究では以下を比較する。
   • ゼロショット: 強力なプロプライエタリベースラインとして Gemini 2.0 Flash を使用。
   • ファインチューニング: 特定の削除戦略の劣化パターンに基づき Llama-3.2-3B-Instruct を QLoRA でファインチューニングし、軽量なローカルデコーダを構築。

主要な結果
BERTScore、ROUGE-L、文字誤り率（CER）を用いて BBC ニュースデータセット上で保持率 ($r_{keep} \in [0.1, 0.9]$) 横断的に評価した結果、3 つの主要な知見が得られた。

1. 領域依存性のある性能: 単一の削除戦略がすべての圧縮率を支配することはない。
   • 軽度から中程度の圧縮: セマンティックおよびハイブリッド手法（Entropy、Hybrid-$\alpha$）が静的ベースラインに対して明確な改善を示す。
   • 積極的な圧縮（低保持率）: WordFreq（頻度ベースの静的削除）が最も堅牢であることが証明された。静的ルックアップのみを使用しているにもかかわらず、最低保持率 ($r_{keep} \le 0.3$) において、高価なセマンティック手法を上回ることが多い。
2. エンコーダ効率対品質: エントロピー計算に GPT-2 推論を必要とするセマンティック手法は、WordFreq に比べて著しく遅い（13〜115 倍）。高保持率 ($r_{keep}=0.9$) では、WordFreq とエントロピーベース手法の性能差は negligible（約 0.002 BERTScore）であり、リソース制約のあるエンコーダにとって WordFreq が実用的な選択となる。
3. デコーダ適応: 軽量なローカルデコーダ（Llama-3.2-3B）の戦略認識ファインチューニングは、ゼロショットのそれに対して再構築品質を大幅に向上させる。いくつかの比較において、ファインチューニングされた 3B モデルは、特に特定の削除パターンを学習することが重要な低保持率領域において、ゼロショットの Gemini 2.0 Flash と競合する性能を示す。

クロスドメインおよび失敗分析

• 汎用性: このフレームワークはウィキペディア（百科事典的）、Reddit（会話的）、中国語データセットへ転移する。しかし、最適な削除ルールはデータセット依存のまま残る。例えば、WordLen はニュースよりも会話テキスト（Reddit）で良好に機能する一方、セマンティック手法の優位性はドメインの情報密度に応じて変化する。
• 事実忠実度: BERTScore はセマンティック類似性を測定するが、固有表現認識（NER）分析により、BERTScore が許容範囲に見える場合でも、均等な文字削除が事実のアンカーを破壊することが明らかになった。ハイブリッド手法は軽度圧縮において一般的にエンティティをよりよく保持するが、極端な圧縮率ではすべての手法が困難に直面する。
• 要約との比較: 直接 LLM による要約（テキストを目標長に書き換える）は、高保持率領域において削除＋再構築パイプラインよりも著しく性能が劣る。これは、再構築のアンカーとなる元のトークンを失うためである。

意義と主張
本論文は、再構築指向のテキスト保存型損失圧縮のための最初の体系的ベンチマークを確立すると主張する。その意義は以下の点にある。

• 実用的領域の定義: 圧縮された生成物が人間による検査やルーティングのためにテキスト形式である必要があるが、近似セマンティック回復は許容されるという、ロスレス符号化と不透明なセマンティックベクトル符号化の両方とは異なる、特定の運用点を特定する。
• 低コストベースライン: 単純な静的頻度ベースの削除（WordFreq）が、積極的な圧縮シナリオにおいて複雑なセマンティック手法を凌駕することもあり、帯域幅制約やエッジ展開環境に対する viable な解決策となる、極めて競争力のある低コストベースラインであることを示す。
• ローカルデコーダの実用性: 軽量な戦略認識ファインチューニングにより、コンパクトなローカルモデルを巨大なプロプライエタリゼロショットモデルと競合させることが可能であり、セマンティック圧縮のローカル展開経路を可能にすることを示す。
• 相補性: 著者は、この手法をロスレスコーデックの代替ではなく、補完的なものとして位置づける。セマンティック骨格は、アーカイブ保存のために標準的なロスレスアルゴリズム（例：zlib）でさらに圧縮できる。

本論文は範囲を明確に限定しており、この手法は設計上損失を伴うものであり、完全な忠実度が要求される高リスク分野（例：法的または医療記録）には不適切であると述べている。また、現在の評価は自動化された指標に依存しており、非常に低い保持率では事実の幻覚に対して寛容である可能性も認めている。