Resumen Técnico: PhysEditBench

Declaración del Problema

Los editores de imágenes de propósito general (por ejemplo, Nano-Banana, GPT-Image-2) han evolucionado hacia sistemas versátiles capaces de transformaciones guiadas por instrucciones y ediciones que preservan la disposición. Sin embargo, sigue sin estar claro si estos modelos comerciales pueden predecir mapas físicos densos —tales como mapas de profundidad, normales de superficie, albedo, rugosidad y metálico— a partir de una única imagen RGB interior sin un entrenamiento específico para la tarea.

Evaluar esta capacidad presenta desafíos únicos en comparación con los puntos de referencia estándar de predicción densa. A diferencia de los predictores especializados que mapean directamente RGB a un mapa objetivo, los editores de imágenes requieren instrucciones específicas, ejemplos o señales derivadas de la imagen para funcionar. Además, los mapas físicos tienen propiedades distintas: la profundidad a menudo es ambigua hasta la escala, los mapas de normales dependen de convenciones específicas codificadas por color, el albedo requiere separar el color intrínseco de la iluminación y los mapas metálicos son campos de material dispersos. Las evaluaciones existentes se centran en el seguimiento de instrucciones o en la calidad visual, sin medir si los editores de propósito general pueden recuperar la verdad fundamental física bajo protocolos controlados y específicos del objetivo.

Metodología: PhysEditBench

Los autores introducen PhysEditBench, un punto de referencia condicionado por protocolo diseñado para evaluar y estandarizar editores de imágenes en la predicción de mapas físicos densos. El punto de referencia se estructura en torno a tres componentes principales:

1. Construcción del Conjunto de Datos y Fiabilidad de la Fuente

El punto de referencia utiliza fuentes de datos dependientes del objetivo para garantizar la fiabilidad de las anotaciones:

• Profundidad, Normal, Albedo y Rugosidad: Evaluados en OpenRooms-FF e InteriorVerse.
• Metálico: Evaluado en una nueva fuente compañera generada proceduralmente, PBR-Rooms.
  • Racional: Los canales de rugosidad y metálico de InteriorVerse fueron excluidos de la puntuación oficial debido a preocupaciones sobre fiabilidad (por ejemplo, entrelazamiento con texturas RGB, destellos especulares y artefactos de renderizado). OpenRooms-FF carece de supervisión metálica, lo que hace necesaria la fuente compañera.
• Muestreo: El punto de referencia emplea muestreo a nivel de escena para evitar la sobre-representación de vistas casi duplicadas. Define una división Eje Principal (iluminación estándar) y una división Eje de Estrés (condiciones desafiantes como poca luz, HDR y escenas con muchos destellos) basada en estadísticas fotométricas programáticas.

2. Protocolos de Acceso Específicos del Objetivo

Para garantizar una comparación justa, PhysEditBench define un protocolo fijo para cada objetivo, especificando entradas permitidas, formatos de salida y procedimientos de puntuación. Crucialmente, ningún protocolo proporciona mapas de verdad fundamental, etiquetas del punto de referencia o evidencia de múltiples vistas durante la inferencia.

• Profundidad: Utiliza una instrucción fija que especifica una convención casi blanca (blanco=cercano, negro=lejano).
• Normal: Utiliza tres pares fijos de ejemplos RGB-normal para comunicar la convención de codificación, ya que las instrucciones solo mediante instrucciones a menudo no logran estabilizar la salida.
• Albedo: Utiliza un análisis de iluminación solo con imagen de consulta (almacenado en caché de la misma imagen RGB) para guiar la eliminación de efectos de iluminación preservando la estructura.
• Rugosidad y Metálico: Utilizan instrucciones controladas RGB-a-map sin priores auxiliares ni ejemplos.

3. Métricas de Evaluación y Diagnósticos

• Métricas Principales: AbsRel invariante a afinidad (AbsRel-AI) para profundidad; Acc@22.5 para normales; MAE para albedo y metálico; RMSE para rugosidad.
• Diagnósticos: Incluye recuperación de bordes (Boundary F1), perfiles de error angular y métricas estructurales/perceptuales (SSIM, LPIPS).
• Diagnósticos de Protocolo: Se utilizan subconjuntos separados para analizar cómo cambia el rendimiento con diferentes señales (por ejemplo, eliminar ejemplos, añadir priores de segmentación o variar la fuerza de la instrucción). Estos son distintos de los rankings oficiales.

Resultados Clave

La evaluación compara editores de imágenes propietarios (GPT-Image-1.5/2.0, WAN2.7-Image, Doubao Seedream 5.0, Qwen-Image-2.0) frente a predictores especializados (Depth Anything 3, Lotus, StableNormal, DNF-Intrinsic, etc.).

• Profundidad, Normal y Albedo: Los predictores especializados superan significativamente a los editores de propósito general en las métricas principales.
  • Profundidad: Depth Anything 3 y Lotus dominan las métricas escalares y de bordes. Entre los editores, WAN2.7-Image y GPT-Image-2.0 muestran el mejor rendimiento relativo, pero siguen muy por detrás de los modelos especializados.
  • Normal: Los modelos especializados (StableNormal, Lotus) logran una alta precisión direccional (Acc@22.5 > 0.86), mientras que los editores luchan (Acc@22.5 < 0.21), incluso con condicionamiento por ejemplos.
  • Albedo: DNF-Intrinsic lidera en todas las métricas. Editores como GPT-Image-2.0 y Seedream 5.0 muestran distorsión escalar competitiva (MAE) pero se quedan atrás en fidelidad estructural.
• Rugosidad y Metálico: La brecha se reduce.
  • Rugosidad: GPT-Image-2.0 logra el mejor RMSE (0.323), superando a líneas base especializadas como Intrinsic Image Diffusion (0.346) en error escalar, aunque los modelos especializados mantienen una mejor consistencia estructural (SSIM).
  • Metálico: GPT-Image-2.0 logra el mejor MAE (0.051) en la fuente compañera, superando a las líneas base especializadas. Sin embargo, los autores señalan que estas puntuaciones miden la fidelidad del mapa continuo sobre regiones dispersas en lugar de la detección explícita de metálico.
• Análisis de Estrés: Las brechas de rendimiento persisten bajo iluminación desafiante (HDR, poca luz). Para albedo y rugosidad, los rankings específicos de fuente y específicos de métrica cambian bajo estrés, destacando que el error escalar no siempre se correlaciona con la preservación estructural.
• Sensibilidad del Protocolo: Las variantes diagnósticas revelan que las señales permitidas cambian materialmente las salidas. Por ejemplo, eliminar los ejemplos de normales aumenta drásticamente el error angular, y añadir priores de segmentación mejora la estructura de la rugosidad pero cambia la evaluación de una tarea directa RGB-a-map.

Significado y Afirmaciones

El artículo afirma que PhysEditBench proporciona el primer marco estandarizado para evaluar editores de imágenes de propósito general en la predicción de mapas físicos densos. Sus contribuciones principales son:

1. Evaluación Condicionada por Protocolo: Establece que evaluar editores de imágenes requiere configuraciones de acceso y reglas de puntuación específicas del objetivo, en lugar de una única estrategia de instrucción. Una puntuación refleja el rendimiento bajo un protocolo específico, no el potencial máximo del modelo a través de todas las interacciones posibles.
2. Realidad Dependiente del Objetivo: Los resultados demuestran que la "plausibilidad visual" no garantiza la "precisión física". Aunque los editores pueden producir salidas similares a mapas, los predictores especializados siguen siendo superiores para la geometría (profundidad, normal) y la descomposición intrínseca (albedo).
3. Competitividad Emergente en Propiedades de Materiales: Para mapas de rugosidad y metálico, editores de imágenes más potentes pueden igualar o superar las líneas base especializadas en métricas escalares, lo que sugiere un cambio en la capacidad para la estimación de propiedades de materiales, aunque persisten limitaciones estructurales y de robustez.
4. Valor Diagnóstico: El punto de referencia destaca que el rendimiento depende altamente del objetivo, la métrica, el protocolo y la condición de la imagen, argumentando en contra de reducir todos los sistemas a un único ranking general.

Los autores mantienen una postura modesta, señalando que el punto de referencia se limita a fuentes interiores sintéticas y a una fuente metálica generada proceduralmente. En consecuencia, los resultados miden el rendimiento controlado del punto de referencia en lugar de la generalización completa al mundo real o la utilidad aguas abajo. La obra sirve para identificar dónde los editores de imágenes actuales se están volviendo competitivos y dónde los predictores dedicados siguen dominando.