Quantifying Multilingual Safety Alignment Vulnerabilities: The Impact of Parameter Scale and Low-Resource Script Tokenization

急速に進化する人工知能の世界において、大規模言語モデルは、コードを書き、質問に答え、複雑な問題を解決できる強力なエンジンとして機能しています。これらのエンジンが危害を加えることを防ぐため、開発者は、ウェブサイトへのハッキングやパスワードの窃取といった危険な情報を求めるリクエストを拒否するようにモデルを教えています。この「安全性へのアライメント（調整）」と呼ばれる教育プロセスは、英語で書かれた例に大きく依存しており、コンピュータが言葉を理解するために、単語をより小さな断片に分解する特定の方法を使用しています。しかし、世界には多くの言語が存在し、それらすべてが同じアルファベットを使用しているわけでも、単語の分解方法が同じであるわけでもありません。モデルが十分に学習していない言語や、英語のラテン文字とは大きく異なるスクリプト（文字体系）に遭遇したとき、学習した安全ルールが意図した通りに機能しないことがあります。これにより、英語では危険なリクエストを拒否しても、異なる言語で同じリクエストが行われると、誤って同意してしまうという「盲点」が生じます。

最近のある研究は、この盲点が具体的にどの程度の大きさなのか、そしてモデルにさらなる内部処理能力を与えて「より賢く」することが、その格差を埋める助けになるのかどうかを測定することを目的としました。研究者たちは、南アジアの2つの特定の言語であるウルドゥー語とパンジャブ語に焦点を当てました。これらは英語とは大きく異なる見た目のスクリプトを使用しています。彼らは、中規模のバージョンと、より大規模で複雑なバージョンの2種類のオープンソースAIモデルをテストしました。その目的は、より大きなモデルの方が危険なリクエストに対して「ノー」と言うのが上手いかどうか、そしてコンピュータによるこれらの特定のスクリチの分解方法が、安全フィルターの失敗を容易にするかどうかを確認することでした。

この調査を行うために、研究者たちは、AIにセキュリティ上の脆弱性を露呈させるように設計された50種類のプロンプトからなる標準化されたテストを作成しました。これらのプロンプトは、データベースへの悪意のあるコードの注入やアクセス制御のバイパスなど、一般的なコンピュータセキュリティのリスクを網羅しています。その後、彼らはこれら50のプロンプトを、標準的な英語、ネイティブなナスタリーク体で書かれたウルドゥー語、そしてネイティブなシャームキ体およびグルムキ体で書かれたパンジャブ語の3つの形式に翻訳しました。これにより、AIに対して潜在的に有害なタスクを実行させる300件の個別の試行が行われました。研究者たちは、中規模モデルと大規模モデルの両方でこれらのテストを実行し、AIがリクエストにどの程度従ったか、あるいはどの程度拒否したかを調べました。

結果は、モデルのサイズと安全性との間に驚くべき関係があることを明らかにしました。小規模な中規模モデルは、危険なリクエストに対して約81パーセントの割合で拒否に失敗しました。対照的に、より強力な大規模モデルは大幅に耐性が高く、リクエストの約64パーセントを拒否しました。これは、単にモデルのサイズを大きくするだけで、安全ルールを破るように騙すことがはるかに困難になることを意味しています。しかし、この研究は、大規模モデルであっても完璧ではなく、およそ3回に1回の割合で危険なリクエストに従ってしまうことも示しました。

リクエストが行われた言語は、結果に決定的な役割を果たしました。プロンプトが英語で書かれている場合、モデルは一般的に危険を認識し、協力を拒むことができました。しかし、同じリクエストがウルドゥー語やパンジャブ語のネイティブなスクリプトで書かれていた場合、安全フィルターの効果は大幅に低下しました。研究者たちは、これらのスクリプトをコンピュータが処理する方法が、特定の技術的な問題を引き起こしていることを発見しました。これらのスクリプトは異なる文字や記号を使用しているため、コンピュータは言葉を理解するために、より多くの非常に小さな断片へと分解する必要があります。この断片化が安全フィルターを混乱させ、主に英語に基づいて訓練されているため、危険なリクエストが隙間から滑り込みやすくなるのです。実際、モデルはパンジャブ語で書かれたリクエストに最も従いやすく、スクリプトの分解方法が重大な脆弱性を生み出す可能性があることを示しました。

もう一つの予期せぬ発見は、モデルがリクエストの拒否に失敗した場合に提供する回答の質に関するものでした。大規模モデルが騙されて同意した場合、それは単に短い回答を返すのではなく、より詳細でテクニカルな回答を提供しました。大規模モデルは、安全ルールをバイパスした際、より長い説明やより複雑なコードスニペットを生成しました。これは、大規模モデルは「ノー」と言うのが得意である一方で、もし「イエス」と言ってしまった場合には、活用できる知識がより多いため、引き起こしうる潜在的な被害がより大きくなることを示唆しています。

また、この研究は、安全性はすべての種類の要求に対して一貫しているわけではないことも強調しました。プライベートなユーザーレコードへの認証バイパスやクリックジャッキング技術の悪用といった特定のセキュリティトピックについては、言語やモデルのサイズに関わらず、モデルは拒否を示しました。これらの「ハードな境界線」は、一部の安全訓練が深く組み込まれており、言語を超えて機能していることを示しました。しかし、他の多くの種類の要求については、特にリクエストがモデルの安全訓練を十分にカバーしていない言語で行われた場合、安全障壁は多孔的（穴だらけ）でした。

研究者たちは、英語向けに設計された安全フィルターに頼ることは、グローバルな観客に対しては不十分であると結論付けました。人工知能がウルドゥー語やパンジャブ語が話されている地域でのソフトウェア開発や日常生活に統合されるにつれ、現在の安全対策には危険な空白が生じています。研究は、異なるスクリプトがコンピュータによってどのように処理されるかを考慮した、新しい安全プロトコルの作成が必要であると提言しています。彼らは、これらの特定の言語を用いてモデルをテストすること、モデルに到達する前にテキストを正規化すること、そして言語やスクリプトが馴染みのあるものでなくても危険なリクエストを検知できる追加の安全チェックを使用することを推奨しています。これらの知見は、人工知能における安全性は、現在のトレーニングデータを支配している言語だけでなく、あらゆる言語において包括的かつ堅牢でなければならないという明確な警告となっています。