Geometry Beats Estimated Depth: RGB-Only Multi-Camera 3D Tracking under Sim2Real

Imagina que estás intentando construir una película en 3D de un almacén con mucho movimiento usando solo fotos planas en 2D tomadas de cámaras de seguridad. Este es el mundo de la percepción 3D multi-cámara, un campo donde las computadoras intentan comprender el mundo tridimensional real simplemente mirando imágenes planas. Normalmente, para hacer esto perfectamente, los robots usan sensores especiales que miden la distancia directamente, como un murciélago usando sonar o un humano usando dos ojos para juzgar la profundidad. Pero en este desafío específico, los robots están "ciegos" a la distancia; solo tienen cámaras RGB estándar (del tipo que tiene tu teléfono) y un conjunto de reglas sobre cómo están posicionadas las cámaras. La gran pregunta que los científicos se hacen es: Si no puedes medir la distancia directamente, ¿cuál es la mejor manera de adivinarla? ¿Deberías intentar usar una IA súper inteligente para adivinar la profundidad de cada píxel de la imagen (como un psíquico adivinando la distancia a un árbol), o deberías confiar en una geometría simple y rígida —usando los ángulos conocidos de las cámaras para triangular dónde están las cosas en el suelo?

Este artículo, escrito por un equipo de LSU New Orleans y PinPark para el AI City Challenge 2026, se sumerge de lleno en ese debate. Establecieron un "tira y afloja" entre dos estrategias muy diferentes para rastrear personas y robots en un almacén. Un equipo (los autores) apostó por la geometría: usar el mapa conocido del suelo y los ángulos de las cámaras para elevar formas 2D al espacio 3D. El otro equipo, que probaron como línea base, apostó por la profundidad estimada: usar una IA sofisticada para adivinar la distancia de cada píxel, convirtiendo las imágenes planas en una nube de puntos 3D (como un mapa de puntos digitales) y luego ejecutar un detector 3D sobre ella. Los resultados fueron impactantes y claros. El equipo de geometría ganó por goleada, mientras que el equipo de "adivinar la profundidad" colapsó por completo. El artículo sugiere que en este entorno específico de "Sim2Real" (donde el robot es entrenado con datos falsos pero probado con datos reales), tener una comprensión compartida y consistente del suelo en todas las cámaras es mucho más importante que tener una suposición perfecta, píxel por píxel, de la profundidad de un objeto.

El Gran Robo del Almacén: Dos Formas de Ver en 3D

La historia comienza en un almacén simulado gigante que está a punto de volverse muy real. El desafío es rastrear objetos en movimiento —como montacargas, transpaletas e incluso humanoides— usando solo transmisiones de video de múltiples cámaras. ¿El truco? Las cámaras no tienen sensores de profundidad. Son solo ojos comunes. La IA tiene que descubrir dónde está cada cosa en el espacio 3D (arriba/abajo, izquierda/derecha, adelante/atrás) simplemente mirando imágenes planas.

Los autores configuraron dos "detectives" diferentes para resolver este caso.

Detective A: El Equipo de la Geometría Primero
Este equipo tomó un enfoque muy lógico y "tradicional". No intentaron adivinar la profundidad de cada píxel. En su lugar, dijeron: "Sabemos que el suelo es plano y sabemos exactamente hacia dónde apuntan las cámaras".

1. Detectar el Objeto: Primero, usaron un detector potente (llamado YOLO11x) para encontrar cajas 2D alrededor de los objetos en cada vista de cámara.
2. Elevar al Mundo: Tomaron la parte inferior central de esas cajas 2D y las proyectaron sobre el plano del suelo conocido mediante matemáticas (homografía). Es como iluminar con una linterna desde la cámara a través de la base de la caja hacia el suelo para ver dónde aterriza.
3. Fusionar y Rastrear: Dado que el mismo montacargas podría ser visto por tres cámaras diferentes, fusionaron estos puntos "elevados" en una única ubicación 3D. Luego, rastrearon el objeto mientras se movía por el suelo del almacén.
4. La Salsa Secreta: Añadieron un paso final llamado "costura offline" (offline stitching). Imagina a un detective que se da cuenta: "Espera, perdí de vista al sospechoso por cinco segundos, pero reapareció justo aquí. ¡Es la misma persona!". Vincularon las piezas rotas del rastro para unir la identidad.

Detective B: El Equipo de Pseudo-LiDAR
Este equipo intentó el enfoque "moderno" que había funcionado en el pasado cuando los datos de profundidad sí estaban disponibles. Intentaron simularlos.

1. Adivinar la Profundidad: Usaron un modelo de IA sofisticado (como D4RT o Metric3D) para mirar la imagen plana y adivinar la distancia a cada píxel. Esto convierte la imagen 2D en una nube de puntos 3D, imitando un sensor 3D real (LiDAR).
2. Detectar en 3D: Alimentaron esta nube de puntos 3D "falsa" a un detector 3D (V-DETR) para encontrar los objetos.
3. La Esperanza: Esperaban que, incluso sin profundidad real, la IA pudiera adivinarla lo suficientemente bien como para construir un mapa 3D perfecto.

El Resultado Sorprendente: La Geometría Gana, la Adivinación Pierde

Los resultados no fueron solo una victoria; fueron una goleada. El equipo de Geometría Primero logró una puntuación de 13.0 HOTA (una medida de qué tan bien rastrean y localizan los objetos). El equipo de Pseudo-LiDAR, el equipo de "adivinación", colapsó a una puntuación de 0.12. Eso es aproximadamente cien veces peor.

¿Por qué falló el equipo de adivinación de forma tan estrepitosa? El artículo sugiere que no fue porque su IA fuera mala adivinando la profundidad en una sola imagen. El problema fue la consistencia.
Imagina que tú y tres amigos están tratando de dibujar un mapa de una habitación basándose en fotos que cada uno tomó.

• El Equipo de Geometría todos estuvieron de acuerdo en dónde estaba el suelo. Incluso si no eran perfectos, todos coincidían en el plano del suelo. Cuando combinaron sus mapas, el suelo era plano y los montacargas estaban de pie.
• El Equipo de Pseudo-LiDAR cada uno adivinó la profundidad de forma independiente. Un amigo pensó que el suelo estaba a 1 metro de altura, otro pensó que estaba a 2 metros, y un tercero pensó que estaba flotando en el aire. Cuando intentaron combinar sus mapas, el suelo se convirtió en un desastre deformado y dentado. Los montacargas terminaron flotando en el cielo o enterrados bajo tierra.

Los autores llaman a esto "inconsistencia entre vistas" (cross-view inconsistency). Incluso si la IA adivina la profundidad de un solo píxel correctamente, si adivina de forma diferente la profundidad del mismo suelo en diferentes vistas de cámara, el mapa 3D se rompe. El artículo muestra que para esta tarea específica, tener una geometría compartida y consistente (el plano del suelo) es mucho más importante que tener una suposición perfecta de profundidad píxel por píxel.

Lo Que No Funcionó (Y Por Qué)

Los autores no solo se detuvieron en comparar los dos equipos; intentaron arreglar al equipo perdedor y mejorar al equipo ganador con todos los trucos posibles. Probaron:

• Mejores Detectores: Intentaron cambiar el detector principal por modelos más nuevos y sofisticados (como RT-DETR) o combinarlos. Resultado: No ayudó. El problema no era el detector; era la falta de datos del mundo real para entrenar.
• Detección por Segmentos (Sliced Detection): Intentaron dividir las imágenes en trozos diminutos para captar objetos pequeños (como una transpaleta que está lejos). Resultado: Esto en realidad empeoró las cosas. Encontró más objetos, pero la mayoría eran falsas alarmas (fantasmas), confundiendo al rastreador.
• Aprender a Elevar (Learning to Lift): Intentaron reemplazar la matemática simple de "elevar" la caja al suelo con una red neuronal que "aprendiera" cómo hacerlo. Resultado: Desastre. La puntuación cayó casi a cero. La matemática simple era en realidad más confiable que el aprendizaje.
• Re-Identificación de Apariencia (Appearance Re-ID): Intentaron identificar objetos por cómo se ven (por ejemplo, "ese es el montacargas rojo"). Resultado: No ayudó porque la iluminación y los ángulos cambiaban demasiado en el mundo real.

Lo único que ayudó al equipo de Geometría fue la costura offline (offline stitching). Al volver atrás después de los hechos y arreglar los rastros rotos (vinculando las piezas "perdidas" y "encontradas" del mismo objeto), mejoraron ligeramente su puntuación. Esto nos dice que el cuello de botella principal es la calidad de la detección (encontrar el objeto en primer lugar), no la lógica de seguimiento.

La Gran Conclusión

El artículo concluye con una lección clara para cualquiera que construya robots que necesiten ver en 3D sin sensores especiales: No intentes adivinar la profundidad si puedes usar la geometría.

En un mundo donde el robot es entrenado con datos falsos pero probado en el mundo real, intentar aprender la profundidad de cada píxel conduce a un mapa caótico e inconsistente. En cambio, aferrarse a las reglas conocidas del mundo (el suelo es plano, las cámaras están fijas) y usar matemática simple y explícita para elevar las detecciones 2D al espacio 3D es mucho más confiable. La "magia" de adivinar la profundidad no es lo suficientemente mágica como para superar la confusión del mundo real. El mejor camino a seguir no es una IA de adivinación de profundidad mejor; es tener mejores detectores que realmente puedan ver los objetos claramente en primer lugar.