Structural Silence: When AI Infrastructure Fails Speakers of Underrepresented Languages

機械の中に潜む見えない壁

インターネットを、あらゆる本、動画、会話が記録され、保管されている巨大で賑やかな図書館だと想像してみてください。これが、人工知能（AI）が話し方、書き方、問題解決の方法を学ぶために使用する「学習データ」です。長い間、この図書館はほとんど英語で書かれた本で埋め尽くされてきました。AIは英語の本しか読んでこなかったため、英語のエキスパートにはなりましたが、それ以外の言語を理解することには苦戦しています。これが「低リソース言語」の核心的な問題です。もしある言語がデジタル世界において十分に表現されていなければ、その言語を使う人々を助けるために作られたAIは、生まれつきハンデを背負うことになるのです。

なぜこれが重要なのかを理解するために、2つのシンプルな概念を見る必要があります。第一に、**認知負荷（Cognitive Load）**は、脳が背負うバックパックのようなものです。新しいことを学ぶとき、バックパックは重くなります。もし、難しい数学の概念を学ぼうとしていると同時に、よく知らない言語からの翻訳も行わなければならないとしたら、バックパックは重くなりすぎて破裂してしまい、数学を学ぶことができなくなります。第二に、**トークナイゼーション（Tokenization）**は、コンピュータが言葉を理解するために、単語を小さな断片に切り分ける方法です。これはパズルのようなものだと考えてください。もしある言語のパズルピースが完璧にカットされていれば、絵は鮮明に見えます。しかし、別の言語のピースが小さく乱れた破片に切り刻まれていたら、コンピュータはその絵を組み立て直すために、より多くの労力を払わなければなりません。

なぜ誰もがこれを気にする必要があるのでしょうか？ AIは、いつでもどこでも、誰にでもプログラミングや問題解決を教えることができる魔法のチューター（家庭教師）として売られているからです。しかし、もしそのチューターが英語の本でしか訓練されず、英語しか話せず、さらに超高速のインターネット接続がある時にしか機能しないとしたら、それはベンガル語を話す農村部の学生のように、最も助けを必要としている人々に対して失敗していることになります。この論文は、なぜこの「魔法」のチューターが彼らにとって壊れているのかを調査しています。それはテクノロジーが悪いからではなく、それが構築された基礎が、最初から彼らのために設計されていなかったからです。

---

沈黙の失敗：なぜAIはベンガル語の話者を無視するのか

「構造的沈黙（Structural Silence）」と題されたこの論文は、AIのインフラが、いかにして意図せずして、代表性の低い言語の話者の周囲に壁を築いてしまうかという物語を、ベンガル語をケーススタディとして伝えています。ベンガル語は、約2億8500万人、全人類の約4%が話す巨大な言語です。1,400年以上の歴史を持ち、2つの国の公用語でもあります。これほど大きな言語であれば、AIの世界ではスーパースターになれると思うかもしれません。しかし、著者たちは、ベンガル語がスターになる代わりに、4つの特定の構造的な失敗がトランプの家のように積み重なり、「沈黙させられている」ことを発見しました。

1. 空っぽの本棚（ウェブ上の存在感のギャップ）

ロボットにベンガル語を教えるために、読むための図書館を与えると想像してみてください。問題は、その図書館がほとんど空であることです。ベンガル語の話者は世界の4%を占めていますが、インターネット上の全コンテンツのうち、ベンガル語が占める割合は0.5%未満です。対照的に、ネイティブスピーカーの数が同程度である英語は、ウェブの約**49.5%**を占めています。

AIモデルは、ウェブを「クロール」してテキストを収集することで訓練されます。オンライン上にベンガル語のテキストが極めて少ないため、AIは練習をほとんど積むことができません。それは、英語の友人が100万曲聴ける一方で、自分はたった1曲を聴いてバイオリンの練習をしているようなものです。著者らは、これは単にインターネットへのアクセス権の問題ではなく、誰が数十年にわたってオンラインでコンテンツを書き、投稿してきたかという問題であると指摘しています。その結果、AIは最初の単語を学ぶ前から、膨大な不利を背負って訓練を開始することになります。

2. データの飢餓（トレーニング・トークンの不足）

ウェブ上にベンガル語が非常に少ないため、AIは「トークン」に飢えることになります。トークンとは、コンピュータが学習に使用するテキストの小さな塊のことです。論文はこの衝撃的な格差を強調しています。主要な学習データセットにおいて、1つのベンガル語トークンに対して67個の英語トークンが存在します。

これは食事に例えてみましょう。もし英語が67皿ものご馳走を食べられるとしたら、ベンガル語はたった一個のパン屑しかもらえません。著者らは、ベンガル語が「多言語」モデル（多くの言語を学ぼうとするモデル）に含まれていたとしても、依然として英語よりもはるかにパフォーマンスが低いことを指摘しています。データは単に乏しいだけでなく、あまりにも乏しいため、AIは言語のルールを適切に学ぶための十分な例を見ることができていないのです。

3. 壊れたパズルのピース（トークナイゼーションによるペナルティ）

ここからが複雑なところです。たとえAIに英語と同じ量のベンガル語テキストを与えたとしても、依然として苦戦するでしょう。なぜでしょうか？ コンピュータが言葉を切り分ける方法に理由があります。

英語はラテン文字を使用しており、コンピュータにとって比較的切り分けやすいものです。一方、ベンガル語は「アブギダ（音節文字）」と呼ばれるスクリプトを使用しており、文字が記号（ダイアクリティカルマーク）と組み合わさったり、複雑に結合したりします。標準的なコンピュータツールは英語用に設計されているため、ベンガル語の単語を小さく乱れた断片へと切り刻んでしまいます。著者らはこれを「トークナイゼーション・ペナルティ」と呼んでいます。

パズルを組み立てようとしている場面を想像してください。英語の場合、ピースは大きく明確な形をしています。しかしベンガル語の場合、同じ絵が何千もの小さくギザギザした破片に切り刻まれています。コンピュータは、その破片がどのようにフィットするかを理解するために、より多くの労力を払わなければなりません。これは、AIが同じ意味を理解するためにより多くのデータを「食べる」必要があることを意味します。論文は、英語と同等の性能を得るためには、この乱れた切り分け問題を克服するために、ベンガル語モデルには実質的に多くのデータが必要であると示唆しています。

4. クラウドの罠（接続性の排除）

最後の失敗は、AIの「脳」に関するものではなく、AIの「体」に関するものです。今日のほとんどのAIツールは「クラウド」の中に存在しています。つまり、質問をインターネット経由で巨大なサーバーに送り、サーバーがそれを処理して回答を返送するという仕組みです。

論文は厳しい現実を指摘しています。多くのベンガル語話者が住むバングラデシュの農村部では、個人のインターネット普及率は**36.5%であり、都市部では71.4%です。さらに、家庭でコンピュータを所有しているのはわずか9.2%**です。もしAIチューターが動作するために常時高速なインターネット接続を必要とするならば、それは農村部の学生にとって機能的に「存在しない」も同然です。それは、そこへ行くためにプライベートジェットが必要な図書館を設計しているようなものです。著者らは、これは単なる不便さではなく、誰もがすでに接続されていることを前提とした「設計上の選択」であり、結果として最も助けを必要としている人々を締め出しているのだと主張しています。

二重の負担：重すぎるバックパック

これら4つの失敗が組み合わさると、学習者には「二重の負担」が生じます。農村の村の学生がコンピュータ・プログラミングを学ぼうとしている場面を想像してください。

1. 言語の壁： AIチューターは（主に英語で訓練されているため）コードを英語で説明します。学生は、複雑なプログラミングの概念を理解しようとしながら、同時に頭の中で英語を翻訳しなければなりません。
2. 認知オーバーロード： 彼らの脳は、言語を翻訳することと、数学を学ぶことという2つの困難な仕事を同時にこなそうとしています。彼らの「バックパック（ワーキングメモリ）」は重くなりすぎて、理解ができなくなってしまうのです。

論文は、サポートなしに第二言語で技術的概念を学ぶ際、学習効率が低下し、保持率も低くなるという研究結果を引用しています。ベンガル語の話者にとって、英語を話すAIチューターは単に「便利ではない」だけでなく、効果的に使うことがしばしば「不可能」なのです。

論文が提言する対策

著者らは、これは単に「コードを修正する」だけの問題ではないと慎重に述べています。AIを少し微調整するだけでは不十分であり、基礎となる部分が非英語話者を排除する前提の上に築かれているのだと彼らは主張しています。

• データを「副次的プロジェクト」として扱わない： 論文は、ベンガル語のような言語のためのデータセット構築を、単なる「準備作業」と見なすべきではないと提案しています。それは、新しいAIモデルの発明と同じくらい重要な、主要な科学的貢献として認識されるべきです。
• 「オフライン・ファースト」を目指す： 全員がインターネットに接続していると想定するのではなく、接続なしでスマートフォンやコンピュータ上で動作するAIツールを設計すべきです。これは「劣った」バージョンのAIではなく、世界の大多数の人々にとって機能する唯一のバージョンなのです。
• 言語学者に耳を傾ける： 論文は、標準的なコンピュータツールがなぜベンガル語のような言語に対して失敗するのかを説明するために、言語学者が介入することを求めています。彼らは、エンジニアが見落としがちな構造的な欠陥を特定できる語彙を持っています。

結論

この論文は、ベンガル語話者のための完璧なAIを構築したと主張しているわけではありません。むしろ、現在のシステムがなぜ彼らにとって失敗しているのか、その4つの構造的な理由を指摘する「探偵」のような役割を果たしています。性能の差は、ベンガル語が「難しい」言語だからでも、学生が賢くないからでもありません。AIのインフラが、読み込まれる本から、言葉の切り分け方、そして誰もが高速インターネットを持っているという前提に至るまで、英語を念頭に置いて構築されたからです。これらの「構造的な沈黙」を修正しない限り、AIが普遍的な教師になるという約束は、限られた人々にのみ与えられる約束であり続けるでしょう。