VTONQA: A Multi-Dimensional Quality Assessment Dataset for Virtual Try-on
Dieses Paper stellt VTONQA vor, den ersten mehrdimensionalen Qualitätsbewertungsdatensatz für virtuelles Anprobieren, der 8.132 Bilder und 24.396 menschliche Bewertungen über drei Dimensionen hinweg enthält, welcher dazu verwendet wird, bestehende VTON-Modelle und Bildqualitätsmetriken zu benchmarken, um deren Einschränkungen aufzuzeigen und zukünftige Verbesserungen zu leiten.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der geschäftigen Welt des Online-Shoppings hält eine vertraute Frustration an: die Lücke zwischen einem Kleidungsstück auf einem Bildschirm und dem, wie es an einer echten Person aussehen könnte. Um diese Lücke zu schließen, hat die Technologie virtuelle Anprobetools entwickelt, die als digitale Umkleidekabinen fungieren. Diese Werkzeuge nehmen ein Foto einer Person und ein separates Bild eines Kleidungsstücks und versuchen dann, diese zu einem einzigen, realistischen Bild zu verschmelzen, das die Person in dieser Kleidung zeigt. Obwohl diese Systeme im E-Commerce und in der digitalen Mode mittlerweile verbreitet sind, sind sie nicht perfekt. Oft wirken die Ergebnisse seltsam; Kleidung kann gestreckt oder zerrissen erscheinen, Körperformen können sich unnatürlich verzerren oder der Stoff fällt nicht korrekt. Damit diese Tools wirklich nützlich werden, müssen Entwickler einen Weg finden, genau zu messen, wie gut oder schlecht ein Ergebnis ist, indem sie über einfache Pixelvergleiche hinausgehen, um zu verstehen, was ein menschliches Auge tatsächlich als eine erfolgreiche Anprobe wahrnimmt.
Ein Forschungsteam der Shanghai Jiao Tong University hat diese Notwendigkeit erkannt und eine neue Ressource namens VTONQA geschaffen, den ersten groß angelegten Datensatz, der speziell darauf ausgelegt ist, die Qualität dieser virtuellen Anprobebilder zu beurteilen. Anstatt sich auf eine einzige Gesamtbewertung zu verlassen, unterteilten die Forscher die Bewertung in drei verschiedene Dimensionen: wie gut die Kleidung am Körper sitzt, wie natürlich die Körperform und die Pose konsistent bleiben und die allgemeine ästhetische Qualität des fertigen Bildes. Um dies aufzubauen, sammelten sie 8.132 Bilder, die von 11 verschiedenen virtuellen Anprobemodellen generiert wurden, die von klassischen Computer-Vision-Techniken bis hin zu modernen KI-Systemen reichen. Diese Bilder wurden erstellt, indem sie 184 verschiedene Personen – die eine vielfältige Mischung aus Alter, Geschlecht, Ethnizität und Körpertypen darstellten, einschließlich Kindern, älteren Menschen und schwangeren Personen – mit 80 verschiedenen Kleidungsstücken aus acht Kategorien, von T-Shirts und Pullovern bis hin zu Kleidern und Hosen, kombinierten.
Nachdem die Bilder generiert worden waren, überließen die Forscher das Urteil nicht den Maschinen. Sie rekrutierten 40 ehrenamtliche Helfer, die als ultimative Schiedsrichter der Qualität fungierten. Diese Freiwilligen, die über einen akademischen Hintergrund im Bachelor- oder Masterstudium verfügten, wurden darin geschult, jedes Bild zu betrachten und eine Punktzahl von eins bis fünf für jede der drei Dimensionen zu vergeben. Sie bewerteten, ob das Hemd so aussah, als würde es tatsächlich getragen, ob die Arme und Beine der Person noch wie menschliche Gliedmaßen aussah und ob das fertige Bild angenehm anzusehen war. Dieser Prozess führte zu fast 24.400 individuellen Bewertungen, was eine reichhaltige, detaillierte Karte darüber erstellte, wie Menschen Erfolg und Misserfolg in der virtuellen Anprobe wahrnehmen. Die Forscher nutzten diese menschlichen Daten dann, um zu testen, wie gut bestehende Computerprogramme diese Bewertungen eigenständig vorhersagen können.
Die Ergebnisse zeigten eine signifikante Lücke zwischen dem, was Computer derzeit messen, und dem, was Menschen tatsächlich sehen. Traditionelle Methoden zur Beurteilung der Bildqualität, die sich oft darauf konzentrieren, wie eng die Pixel zwischen zwei Bildern übereinstimmen oder wie viel Rauschen vorhanden ist, stimmten nicht mit der menschlichen Meinung überein. Diese Standardwerkzeuge konnten die subtilen Verzerrungen nicht erkennen, die ein virtuelles Outfit künstlich erscheinen lassen, wie etwa ein Ärmel, der sich unnatürlich verdreht, oder eine Taille, die verschwindet. Selbst fortschrittlichere Modelle der künstlichen Intelligenz, die auf allgemeinen Bildern trainiert worden waren, hatten mit den spezifischen Herausforderungen der virtuellen Anprobe zu kämpfen. Die Studie zeigte, dass zwar einige moderne Systeme besser abschnitten als andere, aber keines perfekt war. Die getesteten proprietären kommerziellen Systeme schnitten im Allgemeinen besser ab als die Open-Source-Forschungmodelle, aber selbst die besten Open-Source-Modelle zeigten Inkonsistenzen und hatten oft Probleme mit Kleidungsstücken für den Unterkörper, wie Hosen und Röcken, während sie bei Oberkörperkleidung wie Hemden gut funktionierten.
Einer der aufschlussreichsten Aspekte der Studie war, wie verschiedene Arten von Kleidung und verschiedene Körpertypen die Ergebnisse beeinflussten. Die Daten deuteten darauf hin, dass die aktuelle Technologie die Konturen des Oberkörpers und von Ganzkörperkleidern zuverlässiger handhabt als die komplexen Formen des Unterkörpers. Ebenso arbeiteten die Systeme zwar vernünftig über verschiedene Körperformen und Ethnien hinweg, doch die Leistung variierte so stark, dass kein einzelnes Modell bisher eine universelle Lösung darstellt. Die Forscher fanden heraus, dass die allgemeine Qualität eines Bildes oft stärker davon abhing, ob der Körper natürlich aussah, als ob die Kleidung perfekt passte, was darauf hindeutet, dass die Bewahrung der menschlichen Form der entscheidende Faktor für ein überzeugendes Ergebnis ist. Indem sie diesen detaillierten, durch Menschen verifizierten Datensatz bereitgestellt haben, haben die Forscher dem Fachgebiet einen neuen Maßstab für die Messung gegeben. Diese Ressource ermöglicht es Entwicklern, genau zu sehen, wo ihre Modelle versagen, und führt die Technologie von einer Phase des Ausprobierens hin zu einer Zukunft, in der digitale Umkleidekabinen ein wirklich realistisches und zuverlässiges Erlebnis für Einkäufer bieten können.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.