技術要約：制約付きデータ画像生成および拡張のためのオブジェクト中心型データセット・リソース

問題提起

オブジェクト中心の画像生成は、スマートシティにおける歩行者解析、交通標識の検査、ドメイン特化型の物体検出など、追加のラベル付き例の収集が困難なアプリケーションにおいて極めて重要である。このような制約付きデータの設定では、合成画像が訓練や評価に価値を持つためには、オブジェクトの構造、空間的な接地（グラウンディング）、バウンディングボックス情報、視覚的な多様性、および現実的なコンテキストを保持していなければならない。

既存の大規模なビジョン・リソース（例：ImageNet、COCO、Cityscapes）は、主に分類、検出、またはシーン理解のために設計されており、制御されたオブジェクト中心の生成を目的としたものではない。その結果、これらのコーパスからアドホックに抽出されたサブセットは、クラスのマッピング、クロップの構成、センタリング、フィルタリング、および分割定義における不一致に悩まされることが多い。これらの差異はタスクの難易度を変化させ、手法の公平な比較や先行研究の再現性を妨げる要因となる。さらに、既存のデータセットは、プライバシー保護のためにぼかされた歩行者データの身体構造の喪失、特定の標識の外観への過学習、あるいは植物生成における背景の多様性の崩壊といった、制約付き設定における特定の失敗モードに対処することがほとんどない。

手法

著者らは、制約付きデータ生成タスクへの入力を標準化するために設計された、3つのオブジェクト中心型データセット・リソースからなる共有可能なコレクションを提案する。このコレクションは、標準化された 256×256 オブジェクト中心クロップ と バウンディングボックス注釈 という共通のインターフェースの下で、3つの補完的なレジームを統合している。

構築パイプラインは、異種混合のソースデータに適用される5段階のワークフローに従う：

1. 検出/注釈ルックアップ： ソースの注釈または検出器から候補領域を特定する。
2. ボックス抽出/変換およびクラスの調和： 多様な注釈形式（ポリゴン、インスタンスマスク）をバウンディングボックスに変換し、関連するクラスを統合する。
3. オブジェクト中心クロップ生成： 対象オブジェクトを中心に配置したクロップを作成する。
4. 正規化： すべてのクロップを256×256にリサイズする。
5. フィルタリングおよび分割生成： オブジェクトの密度と重複に基づいてフィルタリングを行い、訓練/検証/テストの分割を生成する。

3つの具体的なデータセットは次のように構築されている：

• Cityscapes–Pedestrian（Cityscapes–歩行者）： 高解像度のCityscapesフレームから、CityPersonsおよび gtCoarse 注釈を用いて作成。歩行者に関連するラベルは単一のクラスに統一されている。パイプラインは重複するボックスを重複ルールにより削除し、人物関連の領域の周囲にクロップを生成する。このレジームは、高密度なシーン、プライバシー保護のためのぼかし、および激しい遮蔽（オクルージョン）を特徴とする。
• TrafficSigns（交通標識）： 著者所有の1024×768 ストリートビュー画像から構築。交通標識の候補ボックスはYOLOv5xを使用して生成され、手動でレビューされている。このデータセットは、境界が明確で、遮蔽が限定的な、クリーンで高コントラストなレジームを提供する。
• COCO PottedPlant（COCO 鉢植え植物）： MS-COCO 2017のインスタンス注釈から派生。パイプラインは「鉢植えの植物」のインスタンスを選択し、安定したクロップが困難なほど小さいものはスキップする。バウンディングボックスが完全に内部に含まれるように、ランダムなマージンを持ってクロップをサンプリングする。他のサブセットとは異なり、このデータセットはマルチインスタンスのシーンにおける注釈の完全性を維持するために、交差する植物のボックスをラベルとして保持しており、高いコンテキストおよび外観の多様性を提供している。

主な貢献

本論文の主な貢献は以下の5点である：

1. データセットのリリース： 高密度な歩行者シーン、クリーンな交通標識、およびコンテキスト多様性に富む鉢植え植物をカバーする、3つのクラス固有のリソース（Cityscapes–Pedestrian、TrafficSigns、COCO PottedPlant）のコレクション。
2. 標準化されたベンチマーク・インターフェース： 256×256のクロップ、バウンディングボックス、サンプルレベルのマニフェスト、および分割メタに基づいた共通フォーマット。
3. 再現可能なパイプライン： 検出、クラスの調和、クロッピング、フィルタリング、およびメタデータのエクスポートを網羅する完全な構築パイプライン。
4. レジームの特性評価： 3つのサブセットにおけるオブジェクト密度、マルチボックス構造、遮蔽、ぼかし、およびコンテキストの多様性に関する統計的および定性的分析。
5. 公開リリースパッケージ： 直接配布可能なデータ（TrafficSigns）と、制限付きサブセット（Cityscapes–Pedestrian、COCO PottedPlant）のための再構築アセット（スクリプト、マニフェスト、注釈テーブル、チェックサム）を含む包括的なリリース。

結果と統計

現在のリリースには以下が含まれる：

• 3,009 個の TrafficSigns サンプル： 画像とYOLOラベルと共に直接配布。
• 2,156 個の Cityscapes–Pedestrian マニフェスト記録： 公開マニフェストと再構築スクリプトを介して配布（アップストリームの画像は含まない）。
• 7,679 個の COCO PottedPlant マニフェスト記録： マニフェストと再構築スクリプトを介して配布。

統計分析により、明確なレジームが明らかになった：

• Cityscapes–Pedestrian： 高密度であり、平均 8.11 個のボックスをレコードあたりに保持 し、100% がマルチボックス・レコード であり、遮蔽と構造的な曖昧さを強調している。
• TrafficSigns： 低密度であり、レコードあたり 1.53 個のボックス を持ち、51.3% がマルチボックス・レコード であり、エッジの忠実度と形状の保持に焦点を当てている。
• COCO PottedPlant： 中程度の密度であり、レコードあたり 2.63 個のボックス を持ち、59.7% がマルチボックス・レコード であり、コンテキストの多様性を際立たせている。

本論文は、これらのレジームを用いた最近のYOLOv11の評価を引用しており、そこでは合成による拡張が Cityscapes–Pedestrian で +7.6%、COCO PottedPlant で +30.6% の性能向上をもたらした一方で、よりクリーンで挑戦的でないレジームである TrafficSigns では +1.5% という小さな利得に留まったことを示している。

意義と範囲

本論文は、このコレクションを、ユーザーがラベルを検査し、制御された比較のために等サイズのサブセットを作成し、再構築スクリプトを再実行し、標準化されたレコード上でオブジェクト中心の生成または合成データ拡張の手法を評価するためのツールとして位置づけている。

その意義は、大規模なビジョン・リソースと、制約付きデータ生成の特定のニーズとの間のギャップに対処することにある。標準化されたインターフェースと、補完的な失敗モード（遮蔽/ぼかし vs クリーンな幾何学 vs コンテキストの多様性）を提供することで、このリソースは、生成モデルが狭い視覚的レジームを利用しているのか、それともより広範なオブジェクト中心の堅牢性を達成しているのかを研究者が区別することを可能にする。

著者らは、このコレクションは包括的なものではなく、意図的に焦点絞り込みを行っている こと、また大規模な生成データセットや汎用的な検出ベンチマークに代わるものではないことを明言している。混合リリースモデル（直接データ vs 再構築アセット）は、再現性と、アップストリームの再配布に関する厳格な制約（例：プライバシーおよびライセンス）への遵守のバランスを取るように設計されている。このリリースはFAIRデータ原則に従っており、データセットの動機、構成、および責任ある使用に関するドキュメントが含まれている。