🤖 AI

Toten: Knowledge-Based Ontological Tokenization Of Physical Quantities And Technical Notation In Brazilian Portuguese

本論文は、統計的に導出されたサブワードに代わり、物理量や技術的表記の意味的および構造的な完全性を保持するために宣言的かつオントロジー駆動のアプローチを採用した、ブラジル・ポルトガル語のための知識ベースのオントロジー・トークナイゼーション・フレームワークであるTOTENを紹介し、単位の原子性と数値再構成において最先端のベースラインを上回る優れた性能を実証するものである。

原著者： Antonio de Sousa Leitão Filho; Allan Kardec Duailibe Barros Filho; Fabrício Saul Lima; Selby Mykael Lima dos Santos; Rejani Bandeira Vieira Sousa

公開日 2026-06-19

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Antonio de Sousa Leitão Filho; Allan Kardec Duailibe Barros Filho; Fabrício Saul Lima; Selby Mykael Lima dos Santos; Rejani Bandeira Vieira Sousa

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、ブラジル・ポルトガル語で書かれた複雑なエンジニアリング・マニュアルをコンピュータに読ませようとしていると想像してください。そのマニュアルには、「5.2 kN/m²」（キロニュートン毎平方メートル）や「1.5 × 10⁻³ m」といった精密な測定値が満載されています。

問題点：「ピクセル化された」翻訳者
現代のほとんどのAIモデルは、テキストを読み取るために**バイトペアエンコーディング（BPE）**という手法を使用しています。これは、テキストを断片的な破片として扱う、いわば「バラバラの言葉しか話せない翻訳者」のようなものです。スペースを節約するために、この翻訳者は一般的な書籍での出現頻度に基づいて、単語を恣意的な断片へと細切れにします。

もしテキストに「5.2 kN/m²」と書かれていた場合、標準的なBPEトークナイザーは、それを 5, ., 2, k, N, /, m, ² という風に切り刻んでしまうかもしれません。
コンピュータにとって、「5.2 kN/m²」は単一の概念ではなく、単なる8つの別々のパズルのピースの集まりに過ぎません。コンピュータは後で、これらをどうやって組み立て直して、それが特定の物理的な力であることを理解するかを推測しなければなりません。これは、文字そのものを見るのではなく、文字の個々のピクセルを見て文章を理解しようとするようなものです。

解決策： TOTEN（「賢い司書」）
著者らは、TOTENと呼ばれる新しいシステムを開発しました。統計に基づいてどのように言葉を切り刻むかを推測するのではなく、TOTENはエンジニアリング用語が「実際に何であるか」についての厳格で形式的なルールブック（オントロジー）を持つ、知識ベースの司書のように振る舞います。

TOTENの仕組みを、簡単な比喩を用いて説明します：

ルールブック（オントロジー）： テキストを読み始める前に、TOTENにはエンジニアリングのルールが書かれた辞書があらかじめ用意されています。それは「kN」が力の単位であり、「m²」が面積であり、「5.2」が数値であることを知っています。推測するのではなく、定義を暗記しているのです。
3人の専門家アシスタント（オラクル）： TOTENは、あらゆるタイポ（誤字）や記号を暗記しようとはしません。代わりに、3人の信頼できる専門家に助けを求めます：
- Pint： 単位の専門家（「キロワット」が正確に何であるかを知っています）。
- Unicode Database： 記号とフォントの専門家（上付き文字の「2」が、単なる数字ではなく「二乗」であることを知っています）。
- RSLP： ポルトガル語文法の専門家（技術的な文脈において「potências」が「累乗（powers）」を意味することを知っています）。
分類プロセス： TOTENが「5.2 kN/m²」というテキストを見たとき、それを切り刻んだりはしません。ルールブックと専門家を参照し、「これは『物理量』という名前の、単一の原子的なブロックである」と判断します。そして、そのフレーズ全体を単一のラベル付きタグで包み込み、正確な意味を保持します。

結果：なぜ重要なのか
著者らは、800件のエンジニアリング事例と、他の4つの実世界のポルトガル語テキストコレクションを用いたベンチマークを使用して、TOTENを他の8つのトップティアのシステム（標準的な「ピクセル化された」翻訳者や他の数値検出ツールを含む）と比較テストしました。

原子性（ひと塊を維持すること）： TOTENは、物理量を単一の、途切れないユニットとして保持することに完璧でした。他のシステムは、それらをしばしばバラバラにしてしまいました。
再構成（組み立て直すこと）： 後でコンピュータが実際の数値と単位を抽出する必要があるとき、TOT-ENは**78%から90%の確率で正しく行うことができました。最も優れた競合システムは、わずか63%から70%**しか達成できませんでした。
正確性： その差はわずかなものではなく、統計的に有意でした。TOTENは単に推測したのではなく、ルールブックを使用して一貫して正しい答えを導き出したのです。

結論
TOTENは、技術的・科学的なテキストにおいて、統計的な「推測」に頼る（これは日常会話には適していますが、エンジニアリングでは失敗します）必要はないことを証明しています。代わりに、技術用語を完全で意味のあるオブジェクトとして扱う、構造化されたルールベースのアプローチを使用することができます。

この論文は、この手法を用いることで、コンピュータが数字と単位の構造を、エンジニアが意図した通りに正確に「見る」ことができ、それらが混乱を招く断片へと分解されることなく、「5.2 kN/m²」をバラバラの文字の塊ではなく、単一の、一貫した概念として扱えるようになる、と主張しています。これは、ブラジル・ポルトガル語の技術テキストを機械にとって読みやすくするために特別に設計されたツールであり、「5.2 kN/m²」が混乱した文字の集まりではなく、一つのまとまった概念として扱われることを保証するものです。

技術要約：TOTEN – ブラジル・ポルトガル語における物理量の知識ベース・オントロジー的トークナイゼーション

1. 問題提起

大規模言語モデル（LLM）の前処理を支配している現在の統計的トークナイゼーション・アルゴリズム（例：Byte-Pair Encoding、WordPiece、SentencePiece）は、意味の保存よりも語彙の圧縮に最適化されている。これらをブラジル・ポルトガル語（PT-BR）の技術テキストに適用すると、物理量、地域固有の数値、複合次元単位、記号表現といった意味的に原子的なエンティティが、任意のサブワード・シーケンスへと断片化されてしまう。この断片化により、ダウンストリームのモデルは、元の意味構造を事後的に再構成することを強いられるが、経験的な研究によれば、このプロセスは数値推論および算術精度を低下させることが示唆されている。さらに、英語向けの既存の定量的抽出ツールは、PT-BR特有の技術用語や規範的識別子（例：NBR、ABNT）を十分にモデル化できておらず、一般的な名前付きエンティティ認識（NER）モデルは技術的・科学的なカテゴリを無視している。

2. メソドロジー

本論文では、統計的な派生に代わり、形式的なオントロジーに基づいた宣言的な分類を行うフレームワークであるTOTEN（Typed Ontological Tokenization）を提案する。

2.1 定式化

TOTENは、三つ組 $\langle O, \text{classify}, \{inst_\tau\} \rangle$ として定式化される：

$O$ (Engineering Entities のオントロジー - OEE): 主要な型（ $T$ ）、構造的原理（ $P$ ）、構成関係（ $R$ ）、および不変量（ $I$ ）からなる形式的なオントロジー。型には、物理量、技術的識別子、形式的演算子、および階層的参照が含まれる。このオントロジーは、型がコーパスの頻度ではなく、その固有の性質によって定義されることを保証する8つの公理（例：内在性、媒介された構成、範疇的誤謬）によって制御される。
$\text{classify}$ : 生のテキスト（ $\Sigma^*$ ）を、テキストの範囲を特定し、オントロジーに基づいて型を割り当てる型付き領域 $R_\Sigma$ へとマッピングする関数。
$\{inst_\tau\}$ : 分類された領域を構造化された出力言語 $M$ へとマッピングする、インデックス化された一連のインスタンシエーター（instantiators）。このレイヤーは、「単一の権威（single authority）」原則に従い、型を再決定することなくデータをフォーマットする。

2.2 アーキテクチャと外部オーラクル

フレームワークは、手動による列挙を行うことなく堅牢性を確保するために、OEEを3つの統合された外部オーラクルと結合させている：

Pint: 単位およびSI接頭辞の次元的権威を提供する。
Unicode Character Database (UCD): 文字ごとの列挙ではなく、文字プロパティを通じてタイポグラフィのマーカー（上付き文字、下付き文字、数学演算子）を処理する。
RSLP: ポルトガル語の形態論的アルゴ 있어서、屈折を語根へと還元し、単一文字の単位の曖昧性排除（例：「temperatura」における「K」と「Kelvin」における「K」の区別）を支援する標準的なアルゴリズム。

2.3 出力言語

出力は、未分類の残余テキストと交互に配置されたタグの構造化されたシーケンスである。各タグには、型識別子と属性（例：value, unit, dim, locale）が含まれる。極めて重要な点は、システムが型付き領域の外側でソーステキストの字義通りの形式を保持することであり、これにより、数値表現（ロケール、セパレータ、科学的表記）がダウンストリームの処理のために損なわれることなく維持される。

3. 主な貢献

本論文は、3つの主要な科学的貢献を特定している：

(C1) オントロジー的トークナイゼーションの定式化: トークナイゼーションを、実装に依存せず、検証可能な特性によって評価可能な三つ組 $\langle O, \text{classify}, \{inst_\tau\} \rangle$ として定義し、統計的なサブワード・トークナイゼーションとは明確に区別する。
(C2) OEE オントロジー: 固有の性質によって定義される主要な型、8つの構造的公理、および宣言された構成関係を持つ、エンジニアリング・エンティティの形式的なオントロジー。これは「拡張に対して開かれ、修正に対して閉じている（open-for-extension, closed-for-modification）」原則の下で拡張可能である。
(C3) 内在的評価プロトコル: 構成によって検証可能な4つの特性に基づく、計算コストの低い評価：
1. オントロジー的原子性 (Ontological Atomicity): エンティティが、正しい型を持つ単一の不可分なタグとして放出される。
2. 次元的等価性 (Dimensional Equivalence): 等価な物理量の次元ベクトルが一致する。
3. タイポグラフィ的堅牢性 (Typographic Robustness): 意味的に等価な表記のバリエーションが、同一の型を受け取る。
4. 数値再構成 (Numerical Reconstruction): 値と単位を高精度にプログラム的に抽出できる能力。

4. 実験結果

評価には、内部的に生成された物理的に検証済みのベンチマーク（EngQuant, $N=800$ ）と、4つの外部PT-BRコーパス（MMMLU PT_BR, BLUEX, ENEM Maritaca, Alvorada-Bench; 合計 $N=1,771$ 件の対象ケース）を用いた。TOTENは、BPEバリアントを含む統計的トークナイザー、専門的な抽出器（Quantulum3, CQE, GLiNER）、次元ライブラリ（Pint, udunits-2）、および一般的なNER（spaCy）を含む8つの最先端システムと比較された。

オントロジー的原子性: TOTENは内部ベンチマークにおいて1.000の単位原子性を達成し、最高のベースライン（Quantulum3の0.297）および統計的トークナイザー（約0.48）を大幅に上回った。
数値再構成:
- 内部ベンチマーク: TOTENは0.780を記録し、最高のベースラインであるCQE（0.340）およびQuantulum3（0.220）を大幅に上回った。
- 外部コーパス: TOTENは4つの外部データセットすべてにおいてリーダーシップを維持し、0.775から0.904のスコアを達成した。対照的に、最高のベースライン（Quantulum3）は0.627から0.703の範囲であった。
- 統計的有意性は、Holm補正を用いたMcNemar検定（ $p < 0.001$ ）によって確認された。
次元的等価性: TOTENは0.968の条件付き精度を達成し、Pintオーラクル（0.985）と統計的な同等性を示した。これは、システムが次元的権威を歪曲することなく継承していることを裏付けている。
タイポグラフィ的堅能性: TOTENは、グローバルで0.326、スコープ内（scoped）で0.325を達成し、予期しない表記のバリエーションに遭遇した際にエンティティを断片化する他のシステムを上回った。
アブレーション研究: Pintオーラクルを除去すると、再現率と次元精度が大幅に低下し、その次元的権威としての役割が確認された。UCDまたはRSLPを除去した場合、特定のエンジニアリング・ベンチマークへの影響は軽微であり、タイポグラフィおよび形態論的な曖昧さに対するターゲットとしての有用性が検証された。
併存妥当性: 内部コーパスと外部コーパスのランキング間の強いSpearman順位相関係数（ $\rho \geq 0.856$ ）は、EngQuantベンチマークが現実世界のパフォーマンスの忠実なプロキシであることを確認した。

5. 重要性と主張

本論文は、TOTENが、技術的エンティティの意味構造をコンシューマーモデルに到達する前に保存することにより、統計的トークナイゼーションに対して範疇的な優位性を提供すると主張している。分布的特性に依存する統計的手法とは異なり、TOTENはOEEによって定義されたドメインの概念化に意味的にコミットしている。

主な主張は以下の通りである：

固有特性の回復: 本フレームワークは、純粋な統計的パイプラインが系統的に失ってしまう特性（数値構造、ロケール、次元ベクトル）を回復する。
ニューロシンボリック適合性: TOTENは、シンボリックな前処理レイヤーとして自身を位置づけており、統計的モデルとシンボリック・エージェントの両方が消費可能な、ドメインの意味にコミットした表現を生成する。
限定的な範囲: 著者らは、この表現がコンシューマーモデルの性能（例：算術精度の向上）に与えるダウンストリームの影響は、本研究の範囲外であり、今後の課題であると明示している。評価は厳密に内的（intrinsic）であり、入力表現自体の品質に焦点を当てている。
限界: システムはタイポグラフィ的に劣化した表記を能動的に正規化せず（字義通りの形式を保持する）、構成上、ポルトガル語の単語との語彙衝突を避けるために無次元単位のカバー範囲を部分的に制限している。

結論として、本論文は、知識ベースかつオントロジー的なトークナイゼーションのアプローチが、ブラジル・ポルトガル語の技術テキストにおいて、原子性と数値再構成において統計的に有意な改善を達成できることを示しており、高い意味的忠実度を必要とするドメインのための堅牢な代替手段を提供している。