"Should I Give Up Now?" Investigating LLM Pitfalls in Software Engineering
複雑な Web 開発タスクにおける 26 名の参加者を対象とした調査により、LLM の不正確な回答や文脈の喪失などの 9 種類の失敗がユーザーの認知負荷を増大させ、回答の有用性が低い場合の放棄リスクが 11 倍に跳ね上がる一方で、追加のプロンプトが放棄を抑制する傾向があることが明らかになり、ソフトウェアエンジニアリングにおける LLM の効果的な統合に向けた課題と将来の研究方向性が示されました。