Designing large language model prompts to extract scores from messy text: A shared dataset and challenge
本論文は、英国の品質スコアが付与された1,446件の乱雑な研究テキストからなる共有データセットと、有効なスコアを正確に抽出するか、あるいは欠損値を特定するための最適な大規模言語モデル用プロンプトを設計するという、初期の72.6%の精度ベースラインを上回ることを目的とした課題を導入し、複雑な数値タスクに向けたプロンプトエンジニアリングへの理解を深めるものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、大量の手紙を整理しようとしている司書だと想像してください。それぞれの手紙は、ある研究論文がいかに優れているかを説明するために、異なるロボット（AI）によって書かれたものです。ロボットたちは、1から4までの星によるスコアのような、シンプルな評価を与えるはずでした。
しかし、ロボットたちは文章が乱雑です。スコアを文頭に書いているものもあれば、段落の途中に隠しているものもあります。また、3つの異なるスコアを提示してそれらを統合し忘れているものや、スコアを与えずにただ長々と語っているものもあります。さらに悪いことに、ルールでは1から4の星のみが許可されているにもかかわらず、「95%」や「4/5」といった架空のスコアを捏造してしまうロボットさえいます。
問題点
マイク・ゼルウォール（Mike Thelwall）という著者は、これらのかき乱された手紙を1,446通集めました。彼はこれを「共有データセット」と呼んでいます。彼の目的は、他の研究者たちに、よりスマートな新しいロボットのための「魔法の指示書（プロンプト）」を作るという挑戦をすることです。
この新しいロボットの仕事は、乱雑な手紙を読み、正しい数字を抽出することです。ただし、2つの厳格なルールに従わなければなりません。
- 探偵であれ： 手紙が混乱していても、正しいスコアを見つけ出さなければなりません。もし手紙の中で「独創性」「重要性」「厳密性」が別々に言及されていた場合、ロボットはそれらを平均化する必要があることを理解しなければなりません。もし手紙にスコアがない場合は、「-1」（これは「わからない」という意味）と言わなければなりません。
- おしゃべりではなく、ロボットであれ： ロボットは数字（例：「3*」や「-1」）だけを吐き出さなければなりません。「理由は〜なので、スコアは3だと思います」などと言ってはいけません。余計な言葉を一つでも付け加えれば、その答えは間違いとなります。
チャレンジ
これは、非常に文字通りに受け取るものの、少し混乱しているロボットと行う「サイモンセズ（Simon Says）」のようなゲームだと考えてください。
- 現在のスコア： 著者は単純な指示書を試みましたが、ロボットは約**73%**の確率で正解しました。
- 目標： チャレンジの内容は、より高いスコアを獲得できる、より優れた指示書を誰かが設計することです。
なぜこれを行うのか？
この論文は、今すぐこれを使って実際の学生のエッセイを採点したり、医学的な診断を修正したりするためのものではありません。むしろ、これはトレーニング演習です。ロボットに、乱雑なテキストから特定の数字を抽出させる方法を研究させることで、私たちは以下のことを学びます。
- ロボットがよりよく耳を傾けるように話す方法（プロンプト・デザイン）。
- ロボットがどこで混乱し、その指示をどう修正すべきか。
- ロボットが確信を持てない状況をどのように扱うか（推測する代わりに、いつ「-1」と言うべきかを知ること）。
結論
この論文は、一つのコンテストへの招待状です。それはこう言っています。「ここに、乱雑なロボットのメモの山と、正解のリストがあります。これらすべてのメモを読み、毎回必ず正しい数字を出すように、ロボットに完璧な一連の指示を書くことができますか？」勝者は、正解率を最も高くできた人です。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。