Artificial Intelligence in Surgical Qualitative Research: A Comparison of Human and AI-Assisted Thematic Analysis

想像してみてください。あなたの手元には、外科医たちが書いた200通の手書きメモが入った巨大な箱があります。それぞれのメモには、「あなたの病院で特定の術式（LCBDE）を行う際に最も困難なことは何ですか？」という問いへの答えが書かれています。

あなたの目標は、これらすべてのメモを読み、言及されている問題に基づいて「束（グループ）」に分け、それぞれの束にラベルを付けることです。このプロセスは**主題分析（Thematic Analysis）**と呼ばれます。通常、人間は、ラベルの内容について議論し、洗練させ、お互いの認識が一致するまで繰り返すことで、この作業を行います。

この論文は、シンプルな問いを投げかけています。「ロボット（人工知能）は、この分類作業において人間と同じくらい上手くこなせるのだろうか？」

以下は、いくつかの簡単な比喩を用いて、どのようにテストが行われたかという物語です。

2つのチーム

研究者たちは、同じ200通のメモを分類するというレースのために、2つのチームを用意しました。

1. 人間チーム： 2人の医師がメモを読みました。彼らはラベルを持たない状態からスタートしました。メモを読み進める中で、彼ら独自のカテゴリーリスト（例：「資金不足」「時間不足」「設備の不備」など）を作成していきました。彼らは、それらのラベルが非常に明確で区別されたものになるまで、何度も洗練させました。これが彼らの**「人間のコードブック（符号化基準）」**です。
2. AIチーム： 彼らは200通のメモすべてを、強力なAI（ChatGPT）に一度に投入しました。彼らはAIに対し、「これらのメモを見て、独自のカテゴリーリストを作成してください」と指示しました。AIは、人間の助けや例示を受けることなく、一瞬でこれを行いました。これが**「AIのコードブック」**です。

結果：どちらがより上手く分類できたのか？

両方のチームは、同じ**「大きな全体像」**となる問題を見つけ出すことができました。読み手が人間であれロボットであれ、主な問題は以下の通りであるという点で一致しました。

• 設備のトラブル
• 金銭・コストの問題
• 時間の制約
• 上司からのサポート不足
• 手術の実施頻度の低さ（症例数の少なさ）

しかし、分類の「やり方」には違いがありました。

「曖昧な束」の問題

人間チームのラベルは、明確で区別された「箱」のようなものでした。もしメモに「適切な道具がない」とあれば、「設備」の箱に入ります。もし「時間がない」とあれば、「時間」の箱に入ります。箱同士が重なることはほとんどありませんでした。

一方、AIチームのラベルは、少し**「曖昧で、重なり合った円」**のようなものでした。AIは非常に広範なカテゴリーを作成しました。例えば、「ワークフローと文化」といったラベルを作ることもあります。あるメモの内容が、「病院側が別の手術を好んでいる」という内容だった場合、そのメモは同時に3つの異なるAIカテゴリーに該当してしまう可能性があるのです。

AIのカテゴリーがあまりに広く、かつ重なり合っていたため、AIのリストを使ってメモを分類しようとした2人の人間のコーダー（符号化担当者）は、しばしば混乱に陥りました。彼らは、あるメモがどの「曖昧な束」に属すべきかについて、必ずしも一致した判断を下せませんでした。

スコアカード

研究者たちは、2人のコーダーがどの程度一致したか（検者間信頼性）を測定しました。

• 人間チーム： 一致率は95.1%でした。彼らの「一致度（カッパ係数）」は0.75でした。
• AIチーム： 一致率は92.3%でした。彼らの「一致度（カッパ係数）」は0.64でした。

AIも十分に優れた結果を出していましたが、人間の方がわずかに一貫していました。論文では、この差は統計的に有意である（つまり、単なる偶然ではなく、人間のラベルの方がより明確であったということ）と述べられています。

「ハイブリッド」という解決策

この論文の結論は、AIは**「素早く、役に立つアシスタント」**のようなものである、ということです。AIは散らかった部屋をパッと見て、「よし、ここにある散らかり物の主な種類は、服、本、そして食器だ」と言うことができます。

しかし、服とタオルが混ざり合っている場合に、どこまでが「靴下」なのかを正確に定義することについては、AIは完璧ではないかもしれません。そこで、人間が後から介入し、「いや、全員が迷わないように、靴下のための具体的なルールを作ろう」と整理する必要があるのです。

まとめ：
AIを使って、主要なテーマを素早く見つけ出すという「重労働」を行うことは可能です。しかし、ルールを明確にし、全員が同じようにメモを分類できるようにするためには、人間が介入して定義を磨き上げる必要があります。最善のアプローチは**「ハイブリッド」**です。まずAIに最初の分類を行わせ、その後に人間がラベルを洗練させるのです。

この論文が「述べていないこと」

この研究が主張していないことも、重要な点として記されています。

• AIが人間の研究者を完全に代替できる準備が整った、とは述べていません。
• AIを長文の複雑なインタビューに対してテストしたわけではありません（今回は短いアンケート回答のみを対象としています）。
• 異なるバージョンのAIや、異なるプロンプト（指示）の方法をテストしたわけではありません（「ゼロショット」法、つまり事前のトレーニングや例示を与えずにAIに実行させる方法を用いました）。
• AIがテーマについて「間違っている」と主張しているわけではありません。AIは正しい大きな概念を見つけ出しており、ただ、人間ほど明確に境界線を引くことが難しかっただけなのです。