Human–AI collaboration in deductive coding of classroom dialogue: prompt engineering and collaboration patterns

あなたは、教室で行われている秘密の言語を解読しようとしているのだと想像してください。教師と生徒たちは、深く複雑な会話を交わしています。あなたの仕事は、あらゆる文章を「推論（Reasoning）」、「思考への誘い（Invitation to think）」、「同意（Agreement）」といった特定のカテゴリーに分類することです。これを手作業で行うのは、まるで消防ホースから出る大量の水を、手で受け止めようとするようなものです。それは疲れ果て、時間がかかり、脳が疲弊してしまいます。

そこで登場するのが、**カスタマイズされたGPTコーディング・アシスタント（CGCA）**です。このAIを、何でも知っている魔法のロボットではなく、特定のルールブック（ケンブリッジ対話分析スキーム）を与えられ、いくつかの例文を学習した「非常に賢く、非常に素早いインターン」だと考えてください。ケンブリッジ大学の研究者たちは、次のようなことを知りたかったのです。「このインターンに重労働を任せるように訓練できるだろうか？ そして、インターンが主導権を握りすぎたり、人間がイライラしたりすることなく、どのように協力すればよいのだろうか？」

以下に、分かりやすくするためにいくつかの比喩を交えて、彼らの発見をまとめました。

1. 「インターン」には適切な指示が必要（プロンプト・エンジニアリング）

最初、研究者たちはAIにルールブック全体を渡し、「さあ、やれ！」と命じました。その結果はどうだったでしょうか？ AIは混乱してしまいました。それは、新入社員に500ページの取扱説明書を丸ごと渡し、初日から完璧にこなすことを期待するようなものです。AIの正確性は低く、特定のカテゴリーでは**6.7%**にまで落ち込みました。

研究者たちは、AIの「脳」が人間とは異なる仕組みで動いていることに気づきました。一度に大量のテキストを与えられると、AIはオーバーロードしてしまうのです。そこで、彼らはプロンプト・エンジニアリングを開始しました。これは、インターンのための指示を書き直す作業です。巨大なテキストの壁を与える代わりに、彼らは次のようにしました。

• ルールを「決定木（もしXが起きたら、Yをする）」へと分解した。
• AIに与える例を、数百個ではなく、厳選された5〜15個程度に絞った。
• 指示をステップ・バイ・ステップ（段階的）にした。

結果： これらの調整を経て、AIの正確性は64.9%へと跳ね上がりました。これは完璧ではありません（人間同士の合意率は通常70〜75%です）が、頼りになるサイドキック（相棒）としては十分な数値です。論文は、人間のトレーニングマニュアルをそのままコンピュータのプロンプトに貼り付けるだけではうまくいかないことを示唆しています。AIの思考プロセスに合わせて、指示を再構築する必要があるのです。

2. どちらが先か？ 「人間ファースト」対「AIファースト」のダンス

研究者たちは、このAIインターンとの二通りの協力方法をテストしました。彼らは、6名の教育研究者（初心者も専門家も含む）に、55回の教室での対話ターンをコーディングさせました。

• 条件A（人間ファースト）： 人間が先に文章をコーディングし、それからAIに「あなたはどう思う？」と尋ねる。
• 条件B（AIファースト）： 人間が先にAIに「あなたはどう思う？」と尋ね、それから人間がその内容に同意するかどうかを判断する。

調査結果：
人間が先に行った場合、人間と「ゴールドスタンダード（元の専門コーダー）」との一致度は約0.40（一致度を示す指標）でした。
AIが先に行った場合、その数値は0.45へとわずかに上昇しました。
注：論文では、グループの規模が小さいため、この差は統計的に「劇的な勝利」として証明されたわけではない（有意な差とは言い切れない）と述べていますが、AIから始める方が、人々がルールをより忠実に守る助けになるという傾向が見られました。

また、AIファーストの場合、人間は作業をより早く終えることができました。しかし、研究者たちは興味深い現象に気づきました。「AIファースト」のグループでは、人々は単にAIの仕事を確認していると感じていたのに対し、「人間ファースト」のグループでは、自分がAIによってチェックされていると感じていたのです。

3. 秘密の材料：AIへの接し方

ここが最も興味深い部分です。研究者たちは、作業の順番よりも、「人間がAIをどう感じているか」の方が重要であることを発見しました。彼らは、コーダーの働き方に2つの明確な「性格」を見出しました。

「対話的（Dialogic）」なパートナー（協力者たち）
チームの約半分（参加者C、D、E）は、AIを批判的な友人や議論の相手として扱いました。

• 比喩： テニスのパートナーが、あなたがもっと強く打ち返せるようにボールを返してくれる様子を想像してください。彼らはAIを盲信したわけではありませんが、自分の思考をテストするための提案として利用しました。「ふむ、AIはこれを『推論』と言っている。なぜだろう？ ああ、なるほど、『なぜなら（because）』という言葉があるからだ。よし、同意しよう」といった具合です。
• 結果： コーディングの初心者であったとしても、彼らは最も大きく成長しました。彼らはAIを、学び、自身の判断を洗練させるためのツールとして扱ったのです。

「監督的（Supervisory）」な監視員（懐疑派）
残りの半分（参加者A、B、F）は、AIを容疑者、あるいは常にチェックが必要な機械として扱いました。

• 比喩： カメラが壊れているのではないかと疑い、常に間違いを証明しようとしている警備員を想像してください。彼らは「ChatGPTをチェックしている」とか「これは同僚（の仕事）ではない」といった発言をしました。彼らはAIとの「対話」を拒み、距離を置いていました。
• 結果： これらの人々は、あまり成長しませんでした。コーディングの正確性は低いまま止まり、AIの推論に深く関与する時間も短かったのです。彼らはAIを検証することに集中しすぎるあまり、AIと協力するチャンスを逃していました。

4. この論文が否定していること

この研究が「できないこと」についても知っておく必要があります。

• これは魔法の解決策ではない： 大量のデータを標準的なルールブックと一緒にAIに放り込めば、完璧に機能するというわけではありません。論文は、「人間のトレーニング用コードブックを直接プロンプトに転送することは不十分である」と明示しています。
• スキルの代わりにはならない： この研究は、AIが人間を即座にエキスパートにするという主張ではありません。実際、ある参加者（参加者E）は、自信のなさから最初はAIに従属していましたが、後にAIの仕事を批判的に判断できるようになりました。論文は、これが一時的な自信の向上であり、必ずしも独立したスキルの永続的な飛躍ではない可能性を示唆しています。
• 「万能な解決策」ではない： 論文は、唯一の完璧な方法は存在しないと主張しています。「対話的」なパートナーにとって有効な方法が、「監視的」なウォッチドッグにとって有効であるとは限りません。

5. どの程度確実なのか？

研究者たちは慎重な言葉を選んでいます。彼らは、自らの発見はあくまで「示唆（suggest）」するものであると述べています。例えば、「対話的」なアプローチ（AIをパートナーとして扱うこと）がより良い結果をもたらすことを「示唆」しています。また、AIから始める（AIファースト）ことが一貫性に役立つ可能性を「示唆」しています。

• 信頼レベル： この研究は、わずか6名による小規模な探索的研究です。著者たちは、グループが非常に小さいため、「AIファースト」の手法が絶対に優れていると断定することはできず、数字がその方向へ「傾向（trended）」を示したに過ぎないと認めています。
• 正確性： AIは**64.9%の精度に達しました。論文では、これは人間の合意レベルである70〜75%**に「近づいている」状態であり、まだ到達していないとしています。これは「構造化された意思決定支援ツール」であって、最終的な正解集ではありません。

ビッグピクチャー（全体像）

この研究は、人間とAIのコラボレーションを、単純な「人間 vs 機械」や「機械による作業」というシナリオとしてではなく、ダイナミックなダンスとして描き出しています。

このダンスの成功は、以下の3つが連動することにかかっています。

1. ステップ（AIのデザイン）： 指示はシンプルで、ステップ・バイ・ステップであり、AIの脳に適したもの（決定木のようなもの）でなければなりません。
2. 音楽（コンテキスト）： 作業の順番（どちらが先か）がリズムを変えます。
3. ダンサーの心構え（人間）： AIを学ぶためのパートナーとして扱えば、ダンスはより良くなります。AIをチェックすべき敵として扱えば、足元を乱すことになります。

論文は、AIを用いた研究は**社会技術的なプロセス（socio-technical process）であると結論づけています。それは単なるコードの問題ではなく、人間がそのツールに対してどのように感じ、考え、相互作用するかという問題なのです。好奇心旺盛なティーンエイジャーへの教訓はこうです。「ツールは、あなたが築く関係性次第である」**ということです。もしそれを賢いチームメイトとして扱えば、それはあなたの成長を助けてくれます。もし疑り深い見知らぬ他人として扱うなら、それはただチェックされるのを待っているだけの存在になってしまうのです。