Visual vehicle condition screening for ride-hailing: a grouped evaluation of DriveAI

毎日、何百万人もの人々が、ある場所から別の場所へ移動するために配車アプリに頼っています。車が乗客を運ぶことが許可される前に、車両は安全点検に合格しなければなりません。通常、これには人間が車両の写真を見て、凹みや傷、あるいは部品の欠落がないかを確認する作業が含まれます。しかし、これらの写真を撮ることは厄介な作業です。ドライバーが明るい日光の下で、あるいは深い影の中で、あるいは損傷したバンパーが切れてしまうような角度から、スマートフォンのカメラで写真を撮ってしまうことがあります。画像の品質は極めて多様であり、それが車の本当の状態を示すものなのか、それとも単に写真の写りが悪いだけなのかを、人間の検査官が判断することを難しくしています。これを解決するために、研究者たちは、これらの乱れた写真を見て、車両が良好な状態にあるのか、それとも詳しく調べる必要があるのかを判断できるコンピュータシステムを構築しています。「視覚的状態評価（visual condition assessment）」として知られるこの分野は、照明が悪かったり角度が奇妙だったりする場合でも、コンピュータに人間の検査官が見ているものを見せることを教えようとしています。

最近の研究において、アスタナIT大学のアカディル・アリシュという研究者が、「DriveAI」と呼ばれる特定のソフトウェアツールを徹底的にテストしました。このツールは、配車会社にとっての「最初のフィルター」として機能するように設計されました。その役割は、提出された写真をスキャンして、「この車は無事か、それとも損傷しているか」を判断することです。このシステムは2つの部分で構成されています。まず、数百万枚の画像から物体やシーンを認識することをすでに学習済みの、強力な「学習済みコンピュータ脳」を使用します。この部分のシステムは、車の写真自体から学習するのではなく、単に各写真を視覚的特徴の数学的な要約へと変換します。次に、その要約の上に、最終決定を下すためのシンプルなカスタムメイドのレイヤーが配置されます。もしシステムが問題を発見した場合、汚れや損傷があると思われる場所に大まかな輪郭を描くこともできますが、この第2の部分は今回のテストの主な焦点ではありませんでした。

研究は一つの課題から始まりました。研究者たちが持っていたデータは、少々乱れていたのです。彼らはデジタルストレージシステムの中に4,000枚以上の写真を見つけましたが、中には欠落しているもの、重複しているもの、あるいは同じ車の異なる視点からのものもありました。公平なテストを行うために、チームはコレクションを整理しました。24枚の重複画像を削除し、見た目が類似している写真をグループ化することで、コンピュータが異なるフォルダにある同じ車を二度見るのではなく、ユニークな写真に対してテストされるようにしました。最終的に、彼らは最終テストに使用するための871枚の写真セットを手に入れました。これは、コンピュータに一度も見せたことのない写真です。目標は、システムが悪い照明や奇妙な角度に騙されることなく、損傷した車両を正しく識別できるかどうかを確認することでした。

結果は驚くほど強力なものでした。コンピュータがこれら871枚のテスト写真を見たとき、車が損傷しているか無事かを、AUC 0.95で正しく識別しました。より重要なことに、実際に損傷があった場合、システムはAUC 0.975でそれを捉えました。この高い成功率は、学習済みの視覚的脳とシンプルな決定レイヤーを組み合わせる手法が、この特定のタスクに対して非常にうまく機能することを示唆しています。研究者たちはまた、コンピュータが、車の写真に対する追加の学習なしに、見ているもののテキストによる説明を読み取るだけで状態を推測しようとする、異なるアプローチもテストしました。その手法は失敗し、ランダムな推測と変わらない結果となりました。これは、システムが単に一般的な知識に頼るのではなく、車の写真に合わせて特別に調整される必要があることを証明しています。

しかし、この研究はシステムがまだできないことも浮き彫りにしました。コンピュータは「この車は損傷している」あるいは「この車は大丈夫だ」と言うことには優れていましたが、損傷が正確にどこにあるかを指摘する能力については、完全なテストを行うことができませんでした。研究内の写真には、あらゆる傷や凹みをマークした詳細なマップが存在しなかったため、研究者たちは描かれた輪郭がどれほど正確であるかを測定することができませんでした。システムが、実際の問題が欠落したバンパーであるにもかかわらず、汚れたフロントガラスの周りに線を引いたり、フロントエンド全体が潰れているのにヘッドライトに焦点を当てたりすることがあることが分かりました。これらのエラーは、システムが「何かがおかしい」と察知することには長けているものの、正確に「何がどこで起きているのか」を理解するためには、さらなるトレーニングが必要であることを示しています。

研究者たちは、このテストがプロジェクトの開発の初期段階で使用された写真のコレクションに対して行われたことを慎重に注記しました。写真にはどの車に由来するかを追跡するための固有のIDがなかったため、コンピュータが以前に同じ車の似たような視点を見た可能性があるからです。これは、もしシステムがこれまで見たことのない全く新しい車両群に対してテストされた場合、高いスコアが少し楽観的なものになる可能性があることを意味します。こうした限界はあるものの、本研究は明確な進むべき道を示しています。自動スクリーニングは、電話で撮影された車の写真という、現実世界の乱れた状況においても高い精度で対処できることを示しましたが、同時に、システムが真に実世界で信頼されるためには、より良いデータ、すなわち、損傷箇所を明確にマークした写真や、訓練に使用される車とテストに使用される車の厳格な分離が必要であることも示しました。それまでは、このシステムは、人間の検査官が再確認すべき最も可能性の高い問題をフラグ立てする、強力なアシスタントとして機能します。