Image Score: Learning and Evaluating Human Preferences for Mercari Search
本論文は、Chain-of-Thought プロンプトを用いたLLM駆動の低コストなアプローチを提示し、メルカリのECプラットフォームにおける人間の行動と相関する画像品質ラベルを生成することで、検索の関連性と説明可能性の向上を通じて最終的に売上大幅な成長を実現するものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
メルカリを、古着から中古家電まで、あらゆる商品を数百万人が売買する巨大で賑やかなデジタルのフリーマーケットだと想像してみてください。この市場において、売り手にとって最も重要なことは「店先」つまり、出品者が商品に撮った写真です。写真がぼやけていたり、暗かったり、散らかっていたりすれば、価格が完璧であっても、買い手はスッとスルーしてしまいます。逆に、写真が明るく、鮮明で、プロフェッショナルに見えれば、買い手は立ち止まってクリックします。
メルカリのチームは、特定の課題を解決したいと考えていました：「人間の審査員を大勢雇うことなく、どのようにして自動的にどの写真が『良い』もので、どの写真が『悪い』ものかを判断できるか？」
彼らがそれをどのように実現したか、その物語をシンプルに解説します。
1. 課題：「沈黙する」買い手
通常の店舗では、友人に「このシャツ、好き？」と尋ねるかもしれません。しかし、オンライン市場では、買い手は何も言いません。クリックするか、しないかだけです。これを「暗黙のフィードバック」と呼びます。
- 課題： 買い手が商品をクリックしたとき、それはその商品がまさに自分が求めていたもの（関連性）だからでしょうか、それとも単に写真が素晴らしかったからでしょうか？
- 目標： チームは、「良い写真」という要素を「適切な商品」という要素から分離したいと考えていました。彼らが知りたかったのは：「もし二つの商品が同じ価格で同じ種類なら、より良い写真を持っている方がより多くのクリックを得るだろうか？」
2. 解決策：「AI 美術評論家」
通常、コンピュータに「良い写真」がどのようなものかを教えるには、何千人もの人間に写真を見て評価をつけてもらう必要があります。それは時間がかかり、費用もかかります。
その代わりに、メルカリのチームは、画像を「見る」ことができる超スマートな AI、大規模言語モデル（LLM） を使用しました。この AI をバーチャルな美術評論家だと考えてください。
- プロセス： 彼らは類似した商品のグループ（例えば、同じ種類のジーンズに関する 5 つの異なる出品）を取り出し、AI にこう尋ねました：「これらの写真を見て、互いに比較してください。どれが最も良く見えますか？なぜですか？」
- 秘密の武器（思考の連鎖）： 彼らは単にスコアを求めただけではありませんでした。AI に「声に出して考える（Chain-of-Thought）」よう求めました。AI は、なぜその写真が良いのかを説明しなければなりませんでした。「照明が明るい」「色が合っている」「背景が清潔だ」などです。これにより、AI は実際の人間がどう考えるかに合致する、はるかに正確なスコアを提供できるようになりました。
3. 「スマートソーター」の訓練
AI 評論家は素晴らしいですが、検索が行われるたびに市場のすべてのアイテムに対してこれを使用するのは、遅すぎて費用もかかりすぎます。まるで、図書館のすべての写真を評価するために有名な美術評論家を雇うようなもので、永遠にかかってしまいます。
そこで、彼らは AI 評論家の評価を使って、軽量で高速なコンピュータモデル（「スマートソーター」）を訓練しました。
- 比喩： AI 評論家を、料理を味わい詳細なレビューを書くマスターシェフだと想像してください。「スマートソーター」は、マスターシェフが多くの料理を味わう様子を見て、パターンを学び、マスターシェフの助けを毎回必要とせずに新しい料理の品質を素早く推測できる見習いシェフです。
- 結果： この新しいモデルは、AI 評論家が与えた「評価」に基づいて、どの写真がクリックされるかを予測することを学びました。
4. 大規模テスト：実戦投入
彼らはこのシステムをメルカリのウェブサイト上で実世界でテストしました。ユーザーを 2 つのグループに分けました：
- グループ A（対照群）： 通常どおりの検索結果を表示。
- グループ B（実験群）： 「高品質な写真」を持つ商品を検索語への関連性がわずかに低くても、トップに押し上げて表示する検索結果を表示。
結果：
- Web 上： 実験群は対照群に比べて約 7% 多く購入しました。「スマートソーター」は見栄えの良い写真を買い手の前に正しく配置し、買い手はそれに応じてクリックし、購入を増やしました。
- モバイル上： 興味深いことに、これはスマートフォンではあまりうまく機能しませんでした。著者らは、これは画面が小さいため、ユーザーが大きなコンピュータモニターで閲覧する人々に比べて、小さな視覚的詳細をあまり気にしないからかもしれないと示唆しています。
5. 落とし穴：「偽物」の写真
この論文はまた、面白い副作用にも言及しています。AI は美しい写真を好むため、一部の売り手は実際の出品物の写真の代わりに、AI 生成画像（コンピュータで作られた芸術）を投稿し始めました。これらの偽物の画像は完璧なスコアを獲得し、リストのトップに躍り出ましたが、それらは実際の商品ではありませんでした。
- 教訓： このシステムは、美しい写真が単なるデジタルアートではなく、実際の商品であることを確認するための「真実検知器」を必要とします。
まとめ
メルカリのチームは、スマートな AI を使って商品写真を評価し、その評価を模倣するより高速なモデルを訓練し、その評価を使って最も見栄えの良い商品を優先的に表示するシステムを構築しました。結果は？ウェブサイト上では、商品がより良く見えるようになったため、人々はより多く購入しました。これは、最も新鮮で色鮮やかな野菜を常に目線の高さに配置するように食料品店を整理するのと少し似ています。当然、人々はそれらをより多く購入するようになります。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。