Agentic coding without the cloud: evaluating open-weight large language models on longitudinal data preparation tasks

技術要約：クラウドを用いないエージェント型コーディング

問題提起
計量的な保健学および社会科学において、データの準備プロセスは、変数の再コード化、指標の構築、およびマルチウェーブ（多時点）のハーモナイゼーションを伴う労働集約的なプロセスであり、継続的なボトルネックとなっている。大規模言語モデル（LLM）やエージェント・フレームワークは自動化の可能性を提示しているが、機密性の高い個人データを扱う研究におけるその採用は、ガバナンスの要件によって制約されている。信頼できる研究環境（TRE）やデータアクセス契約では、個人のレベルのデータを外部のクラウドベースのLLMに送信することを禁止している。ローカルにデプロイ可能なオープンウェイト・モデルはプライバシー保護の観点から代替案となるが、既存のベンチマーク（例：HumanEval、SWE-bench）は一般的なソフトウェアエンジニアリングやPythonに焦点を当てており、不完全なメタデータの解釈や異種混合のコーディング・システムの調整といった、R言語を用いた縦断的調査データの準備に求められるドメイン固有の推論能力を捉えきれていない。

手法
著者らは、ローカルかつエアギャップ環境内での、現実的なデータ準備タスクに対するオープンウェイトLLMの有効性を評価するためのオープンソース・フレームワークであるRRBenchを開発した。

• グラウンドトゥルース（正解）データセット： 本ベンチマークは、英国の縦断的コホート研究（14歳〜32歳）の、クリーニング済みで研究準備が整ったバージョンである「Next Steps」コア・データセットを利用している。グラウンドトゥルースは、経験豊富なコホート研究者によって導出された20の異なるタスクで構成されており、人口統計、教育、健康、および社会経済のドメインにわたる102の変数の作成を含む。
• エージェント・ワークフロー： システムには、ネイティブなツール呼び出し機能を必要としない軽量なフレームワークであるSmolAgentsを採用しており、これによりコンシューマー級のハードウェア上で小型モデルを使用することが可能となっている。エージェントは、入力データファイル、メタデータ（変数名、ラベル、値ラベルを含むJSON形式）、およびタスクプロンプトを受け取る。そして、閉鎖されたローカル環境内で、Rスクリプトを反復的に生成、実行、およびデバッグする。
• モデル選定： 8Bから35Bのパラメータを持つ、高密度および混合エキスパート（MoE）アーキテクチャ（例：Gemma 4、Qwen3.5/3.6、Ministral）を含む、8つのオープンウェイト・モデルを評価した。モデルは、少なくとも100,000トークンのコンテキストウィンドウを処理できる能力と、最近のリリース（2026年5月より12ヶ月以内）に基づいて選定された。
• 評価指標： パフォーマンスは、LLMが生成したデータセットを人間がキュレーションしたグラウンドトゥルースと比較することで、以下の指標を用いて評価された：
  • 完全性（Completeness）： 出力に含まれる期待される変数の割合。
  • 正確性（Correctness）： 回復された変数が厳格な合意閾値（カテゴリ変数の場合はセルレベルで95%以上の合意、連続変数の場合は正規化RMSE ≤10⁻⁴）を満たす割合。
  • バランスされたパフォーマンス（Balanced Performance）： 完全性と正確性の積。
  • ダウンストリームへの影響（Downstream Impact）： データのエラーが実質的な知見（例：BMIおよび所得に関する回帰係数）にどのように伝播するかを測定するために、回帰分析を実施した。

主な結果

• モデルのパフォーマンス： 31〜35Bパラメータ範囲の最先端モデル（具体的にはGemma 4 31BおよびQwen3.6-35B-A3B）が最高のパフォーマンスを達成した。Gemma 4 31Bは、シングルパスでタスクの75%を完全に完了し、バランスされた変数パフォーマンスは85.9%、平均タスク完了率は87.9%であった。
• 完全性と正確性： ほとんどのモデルが高い完全性（一般に>95%）を達成したが、正確性が主要な差別化要因となった。小型モデル（例：Ministral-3-14B）は、欠損値の誤ラベル付けや誤った再コード化ロジックの適用など、もっともらしく見えるが不正確な前処理ステップを頻繁に生成した。
• タスクの複雑性： パフォーマンスはタスクの複雑さと強い負の相関があった。普遍的な定義（例：性別、BMI）を伴うタスクは、小型モデルでも確実に完了できた。対照的に、調査固有のメタデータの解釈や複雑な派生ロジック（例：住居形態、世帯所得）を必要とするタスクは困難であった。住居形態については、どのモデルもどの実行においても完全に完了できなかった。
• ダウンストリームの結果： 最も優れたモデル（Gemma 4 31B）によって生成されたデータセットは、グラウンドトゥルースと同一の回帰係数を示した。一方、性能の低いモデルによるデータセットには、「サイレントエラー」（例：不適切なNA処理）が含まれており、経済活動の係数の方向性を逆転させるなど、回帰係数を実質的に変化させた。
• プロンプトへの感受性： 明示的な指示が少ない「ライト」なプロンプトを使用した場合、パフォーマンスが大幅に低下したことは、複雑な派生ロジックに対するモデルの詳細なガイダンスへの依存を浮き彫りにした。

意義と主張
本論文は、縦断的調査データの準備におけるR言語を用いた、ローカルデプロイ可能なLLMを評価するために特別に設計された最初のベンチマークを提供すると主張している。その主要な貢献は、オープンウェイト・モデルをコンシューマー級のハードウェアで実行することで、機密データをクラウドに送信することなく、データ準備タスクにおいて高い忠実度を達成できることを示し、厳格なガバナンス・フレームワーク下でのAI支援型研究への実行可能な道筋を提示したことにある。

著者らは、最も高性能なモデルが現在はハイエンドのコンシューマー・ハードウェア（例：単一の24GB GPU）に制限されているものの、本フレームワークはローカル展開が可能であることを証明していると強調している。彼らは、LLMの理解を助けるためにメタデータを最適化することが、モデル側の改善のみよりも大きなパフォーマンス向上をもたらす可能性があると論じている。論文は、これらのモデルが「初動」のスクリプト生成において有望であることを示している一方で、サイレントエラーを起こしやすい小型モデルにおいては、ヒューマン・イン・ザ・ループによるレビューが不可欠であると結論付けている。本フレームワークは、他のデータセットやプログラミング言語への適応および拡張を促進するために、オープンソースとして公開されている。