Retrieval-Augmented Long-Context Translation for Cultural Image Captioning: Gators submission for AmericasNLP 2026 shared task
フロリダ大学ゲイターズは、スペイン語の中間キャプション生成に Qwen2.5-VL を用い、Gemini 2.5 Flash による検索拡張多ショットプロンプティングと組み合わせる 2 段階パイプラインを採用して先住民族言語の文化的画像キャプション付けに関する AmericasNLP 2026 共有タスクで優勝し、Bribri、Guaraní、Orizaba Nahuatl においてベースラインを 120% 以上上回る性能向上を達成しました。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたが、希少な古代言語を話すコミュニティ向けに、写真の文化的に完璧な短い説明を書くことを想像してみてください。課題は、あなたがその言語を十分に話せないこと、そしてそれを助けるための書籍や辞書が非常に少ないことです。
本論文は、フロリダ大学（通称「ゲイターズ」）のチームが、AmericasNLP 2026 と呼ばれるコンペティションでこの問題をどのように解決したかを記述しています。彼らの目標は、写真を受け取り、アメリカ先住民の言語のいずれか（グアラニ語やブリブリ語など）でキャプションを作成することでした。
彼らがどのように行ったか、簡単なステップと比喩に分解して以下に示します。
2 段階のレシピ
「写真」から直接「希少な言語」へ飛びつくのではなく、チームは 2 段階のリレー方式を用いました。
- ステップ 1：翻訳者（橋渡し） まず、彼らは超高性能な AI（Qwen と呼ばれる）を使って写真を見て、スペイン語で簡単な説明を書かせました。スペイン語は、AI が非常に得意とする「橋渡し言語」と考えてください。
- ステップ 2：文化の専門家（フィニッシャー） 次に、そのスペイン語の説明を受け取り、さらに別の、より賢い AI（Gemini）に、それを最終的な先住民言語へ翻訳させました。
秘密のソース：「語るだけでなく、示す」
真の魔法は翻訳そのものではなく、AI にどのような「スタイル」を使うべきかを教えた点にありました。
通常、AI に翻訳を依頼すると、文法的には正しいが、ロボットや教科書のような響きを持つ文が返ってくることがあります。チームは、キャプションが地元の人が自然に話すように聞こえることを望みました。
これを解決するため、彼らは検索拡張生成（Retrieval-Augmented Generation） という技術を用いました。
- 比喩: あなたが外国の村の友人に手紙を書くことを想像してください。彼らがどのように話すのかを推測するのではなく、同じ村宛に他の人々が書いた100 通の手紙の箱を取り出します。それらを読んで、スラング、トーン、文構造の感覚をつかみます。その後、そのスタイルを模倣して手紙を書きます。
- 論文における実装: AI がスペイン語のキャプションを翻訳する前に、システムは既存のスペイン語から先住民言語へのペアの巨大なライブラリを検索しました。最も類似した例（「100 通の手紙」のようなもの）を掴み取り、ガイドとして AI に提示しました。これにより、AI はコンペティションで要求される「レジスター（特定の文化的スタイル）」に一致することができました。
結果：大勝利
チームはこのシステムをコンペティションに出品し、優勝しました。
- スコア: 彼らは標準的なベースラインと比較して、スコアを大幅に向上させました。例えば、ブリブリ語ではスコアが**164%向上し、グアラニ語では131%**向上しました。
- 人間によるテスト: 人間の審査員がキャプションを見た際、チームの提出物は 5 つのファイナリストの中で2 位にランクインしました。これは、キャプションが自然で文化的に適切であることを証明しています。
彼らが学んだこと（「アハ！」の瞬間）
チームは、何が機能し、何が機能しなかったかを確認するために多くの実験を行い、以下の 3 つの重要な発見に至りました。
- すべてのライブラリが等しいわけではない: 彼らが使用した「例のライブラリ」は、グアラニ語については 53,000 件の例（一部はコンピュータ生成の「偽物」の例であり、それが非常に役立ったものも含む）の巨大なコレクションを持っていたため、奇跡的な効果を発揮しました。しかし、ユカタン・マヤ語については、ほとんど例がありませんでした。その場合、AI の内部知識の方が、小さくノイズの多いライブラリを使おうとするよりも優れていました。
- 「偽物」のデータによるブースト: グアラニ語において、彼らの成功の約28 ポイントは、特にそれらのコンピュータ生成の例を使用することから生まれました。これは、追加のドリルを作成して勉強させる練習コーチを持っているようなものです。
- トーンが重要（特にブリブリ語で）: ブリブリ語は、単語の意味を変える複雑な声調を持っています。チームは、単なる翻訳だけでは不十分であることを発見しました。AI に、これらの声調や語順をどのように扱うかについての特別な指示を与える必要がありました。これは、AI に「覚えておいて、この言語では動詞が文末に来るし、音楽的な音符（声調）を忘れるな！」と伝えるようなものです。
注意点（限界）
チームは、彼らのシステムがまだ完璧ではないことを認めています。
- 連鎖反応: 最初の AI（スペイン語翻訳者）が写真の説明で間違いを犯すと、2 番目の AI（翻訳者）はその間違いを完璧に翻訳してしまいます。「元に戻す」ボタンはありません。
- テストスコアの罠: 彼らは AI がスタイルを学ぶのを助けるために「練習テスト（開発セット）」からの例を使用しました。これは練習スコアには非常に効果的でしたが、本番の試験を受ける前に練習クイズの exact な答えを勉強しているようなものです。スコアが過大評価されている可能性があるため、彼らはこれらの結果の解釈には注意を払っています。
まとめ
フロリダ大学のチームは、まず写真をスペイン語で説明し、その後、類似した例の巨大なライブラリを使用して、その説明を適切な文化的風味を持つ先住民言語へ翻訳する AI を教えるパイプラインを構築することで優勝しました。彼らは、低リソース言語において、コンテキストとスタイルガイドが、翻訳そのものと同じくらい重要であることを証明しました。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。