💻 computer science

DETRPose: Real-Time End-to-End Multi-Person Pose Estimation via Modified Transformer Decoder and Novel Denoising Keypoints

Este artículo presenta DETRPose, la primera familia de modelos transformer de extremo a extremo y en tiempo real para la estimación de la pose de múltiples personas que logra una precisión de vanguardia con significativamente menos parámetros y velocidades de inferencia más rápidas mediante el aprovechamiento de un decodificador modificado, una novedosa técnica de eliminación de ruido de puntos clave y una pérdida Varifocal extendida.

Autores originales: Sebastian Janampa, Marios Pattichis

Publicado 2026-07-03

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Sebastian Janampa, Marios Pattichis

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás en una fiesta concurrida y necesitas tomar una foto de los movimientos de baile de todos. Tu objetivo es detectar instantáneamente a cada persona y dibujar un monigote sobre ellos, conectando correctamente todos sus puntos articulares (hombros, codos, rodillas, etc.). Esto es lo que los científicos de la computación llaman Estimación de Pose Multi-Persona.

Durante mucho tiempo, a las computadoras les costó hacer esto rápidamente. Eran o muy precisas pero lentas (como un artista meticuloso que tarda horas en dibujar a una sola persona), o rápidas pero desordenadas (como un concurso de dibujo rápido donde las extremidades se mezclan).

Este artículo presenta DETRPose, un nuevo sistema que actúa como un "fotógrafo de fiestas súper rápido y súper preciso" que utiliza un tipo especial de cerebro de IA llamado Transformer. Así es como funciona, desglosado en conceptos simples:

1. El Problema: El cuello de botella de "Buscar y Recortar"

La mayoría de los métodos rápidos solían funcionar como un portero en un club. Primero, el portero detecta a una persona, la recorta de la multitud (recorte de imagen) y luego intenta dibujar su esqueleto.

El defecto: Si hay 50 personas en la fiesta, el portero tiene que hacer esto 50 veces. Cuanta más gente hay, más lento es el proceso.
El viejo problema del Transformer: Los modelos de IA más nuevos y más inteligentes (Transformers) podían mirar a toda la multitud a la vez, pero eran demasiado lentos para ser útiles en tiempo real. Eran como un genio que necesitaba una semana para resolver un rompecabezas que un niño podría resolver en un minuto.

2. La Solución: DETRPose

Los autores construyeron DETRPose, el primer modelo Transformer que puede hacer este trabajo en tiempo real. Mira la imagen completa de una sola vez y dibuja esqueletos para todos simultáneamente.

Para hacer esto posible, introdujeron tres "trucos" principales:

Truco A: El entrenamiento de "Cancelación de Ruido" (Denoising Keypoints)

Imagina que le estás enseñando a un estudiante a encontrar un punto específico en un mapa.

Forma antigua: Solo le muestras el punto exacto.
Forma de DETRPose: Le muestras el punto exacto, pero también le muestras puntos "falsos" que están ligeramente desviados (demasiado a la izquierda, demasiado a la derecha). Le enseñas al estudiante: "Este es el real, pero los otros están cerca pero son incorrectos".
El resultado: Al entrenar a la IA para distinguir entre articulaciones "reales" y articulaciones falsas "con ruido", el modelo aprende mucho más rápido y se vuelve mucho más seguro de sí mismo. Esto se llama Denoising Keypoints.

Truco B: La puntuación de "Control de Calidad" (KSVF Loss)

Normalmente, los modelos de IA adivinan dónde está una articulación y dan una puntuación. Pero en la estimación de pose, una "buena suposición" no se trata solo de estar cerca; se trata de qué tan bien encaja la articulación con la forma del cuerpo de la persona.

Los autores crearon una nueva regla de puntuación llamada pérdida Keypoint Similarity VariFocal (KSVF).
Piensa en esto como un profesor estricto que no solo califica la "cercanía", sino que también verifica si la respuesta tiene sentido en el contexto de la imagen completa. Esto ayuda a la IA a ignorar las malas suposiciones y concentrarse solo en las de alta calidad, ahorrando potencia de cómputo.

Truco C: El "Decodificador Refinado" (La actualización de GroupPose)

La parte de la IA que realmente dibuja las líneas (el decodificador) fue actualizada.

Eliminaron pasos innecesarios que ralentizaban el proceso.
Añadieron una capa especial llamada Pose-LQE (Estimación de Calidad de Localización). Piensa en esto como un segundo par de ojos que revisa el dibujo antes de que la imagen final sea enviada, asegurando que los hombros y los codos se coloquen perfectamente sin ralentizar el proceso.

3. Los Resultados: Velocidad vs. Precisión

El artículo compara DETRPose con los campeones actuales (como los modelos YOLO y otros modelos pesados de Transformer).

El modelo "Pequeño" (DETRPose-S): Es tan preciso como los modelos YOLO más grandes y pesados, pero es mucho más pequeño (usa un 81% menos de recursos de memoria) y es mucho más rápido (la inferencia es un 52% más rápida).
El modelo "Grande" (DETRPose-X): En un conjunto de datos muy concurrido (CrowdPose), supera a casi todos los demás modelos Transformer utilizando 13 veces menos potencia de cómputo (FLOPs).
La prueba "Fuera de la Distribución": Cuando se probó en un conjunto de datos de personas en poses muy extrañas, concurridas o inusuales (OCHuman) que el modelo no había visto antes, DETRPose funcionó mejor que todos los demás. Esto demuestra que es robusto y no solo memoriza los datos de entrenamiento.

4. El único inconveniente

Los autores admiten una limitación: Aunque DETRPose es matemáticamente eficiente, sigue siendo ligeramente más lento que los modelos "YOLO" más rápidos en velocidad bruta. Esto se debe a que la forma en que agrupa a las personas requiere un intercambio de datos complejo (como reorganizar un mazo de cartas) que toma un poco de tiempo adicional. Sin embargo, es lo suficientemente rápido como para ser considerado "tiempo real" y es mucho más eficiente que los intentos anteriores de Transformer.

Resumen

DETRPose es un avance porque finalmente trae el poder "inteligente y de visión total" de la IA Transformer a la estimación de pose en tiempo real. Lo logra enseñando a la IA a aprender de sus errores más rápido (denoising), calificando sus respuestas de manera más inteligente (pérdida KSVF) y optimizando su proceso de dibujo. El resultado es un sistema que es increíblemente preciso, maneja mejor las multitudes que antes y funciona lo suficientemente rápido para aplicaciones del mundo real como la realidad virtual o el reconocimiento de actividades.

Resumen Técnico: DETRPose

Planteamiento del Problema
La estimación de la pose multi-persona (MPPE) es una tarea fundamental de visión computacional esencial para aplicaciones como el reconocimiento de actividades, la estimación de pose 2D a 3D y la realidad virtual. Aunque los modelos basados en Transformers han logrado una alta precisión en MPPE, suelen sufrir de una alta latencia, lo que impide su despliegue en tiempo real. Por el contrario, los métodos rápidos de una sola etapa (por ejemplo, los enfoques basados en YOLO) suelen depender de la Supresión de No Máximos (NMS), lo que genera tiempos de inferencia inconsistentes, o sufren de una menor precisión debido a la dificultad de aprender simultáneamente la detección y la agrupación de la pose. Aunque el marco de trabajo DETR ofrece una inferencia consistente y de extremo a extremo sin NMS, las adaptaciones previas para la estimación de la pose han priorizado la precisión sobre la velocidad, dejando un vacío para una solución de MPPE basada en Transformers que sea de tiempo real y de extremo a extremo.

Metodología
Los autores presentan DETRPose, la primera familia de modelos Transformer de tiempo real y de extremo a extremo para la estimación de la pose 2D multi-persona. La arquitectura se basa en el marco de trabajo D-FINE, utilizando un backbone jerárquico (variantes de HGNetv2) y un codificador híbrido. La innovación central reside en la modificación del decodificador GroupPose y la introducción de nuevas estrategias de entrenamiento para acelerar la convergencia y mejorar la calidad de las consultas (queries).

Los componentes metodológicos clave incluyen:

Denoising de Puntos Clave (Keypoints): A diferencia de las técnicas de eliminación de ruido estándar para la detección de objetos que desplazan y escalan cajas delimitadoras, los autores proponen una estrategia novedosa para los puntos clave. Definen la Similitud de Puntos Clave (KS) basada en la distancia entre un punto clave de la verdad de campo (ground-truth) y un punto muestreado, escalada por el área segmentada del objeto y un parámetro de caída ( $\kappa$ ). Esta métrica genera consultas positivas y negativas desplazando los puntos clave de la verdad de campo a lo largo de vectores unitarios aleatorios, estabilizando el emparejador húngaro durante las primeras etapas del entrenamiento.
Capa de Estimación de Calidad de Localización de Pose (Pose-LQE): Una capa de clasificación auxiliar que extrae información de contenido del mapa de características espaciales más alto del codificador en cada punto clave. Refina las puntuaciones de clasificación combinando las consultas de salida, las ubicaciones predichas y las características de contenido, abordando el desafío de que DETRPose predice puntos clave en lugar de cajas de objetos.
Pérdida de Similitud de Punto Clave VariFocal (KSVF): Una extensión de la pérdida VariFocal adaptada para la estimación de la pose. Dado que DETRPose no predice cajas delimitadoras, no puede utilizar la pérdida de Intersección sobre Unión (IoU). La KSVF utiliza la métrica de Similitud de Punto Clave (OKS) y las puntuaciones predichas para penalizar las predicciones de baja calidad, incentivando a la red a enfocarse en consultas de alta similitud y reduciendo los falsos positivos.
Optimizaciones Arquitectónicas: El decodificador integra las capas de pre-pose y de Refinamiento de Distribución de Grano Fino (FDR) de D-FINE. Para reducir aún más la latencia, se eliminan las capas de proyección y el decodificador GroupPose se adapta para soportar la inferencia en tiempo real mediante mecanismos de auto-atención de grupo.

Contribuciones Clave
El artículo reclama cuatro contribuciones primarias:

Una nueva técnica de eliminación de ruido para la estimación de la pose: Utilizando la Similitud de Punto Clave (KS) del objeto para construir consultas de puntos clave tanto positivas como negativas, siendo la primera en tareas de estimación de la pose.
Una capa de clasificación auxiliar Pose-LQE: Un módulo ligero que mejora el rendimiento de la clasificación sin aumentar la latencia de inferencia.
Una nueva función de pérdida (KSVF): Diseñada para promover la selección de consultas de objetos de alta calidad utilizando la métrica KS.
Un decodificador GroupPose modificado: Adaptado para permitir la estimación de la pose multi-persona de tiempo real y de extremo a extremo para modelos basados en Transformers.

Resultados
Evaluaciones extensas en los conjuntos de datos COCO, CrowdPose y OCHuman demuestran que DETRPose logra una precisión comparable o superior a las alternativas líderes mientras reduce significativamente el costo computacional y el tiempo de entrenamiento.

Dataset COCO: DETRPose-S iguala la precisión de YOLOv8-Pose-X y YOLO11-Pose-X (67.0 AP vs. 67.3 y 67.2 AP) pero requiere 81% menos parámetros (11.5M vs. 69.4M/58.8M) y es un 52% más rápido (2.39ms vs. 5.23ms/4.93ms). DETRPose-L alcanza 71.2 AP con 4.66ms de latencia, superando a los métodos previos de extremo a extremo y ofreciendo un mejor equilibrio entre parámetros y latencia que RTMO-L.
Dataset CrowdPose: DETRPose-X establece un nuevo estado del arte para modelos en tiempo real con 75.1 AP. Supera a los modelos Transformer con backbones Swin-L por al menos 1 punto de AP mientras utiliza significativamente menos parámetros (73.3M vs. 210M) y 13.1× menos FLOPs en comparación con ED-Pose-SwinL-5S.
Dataset OCHuman (Fuera de Distribución): DETRPose-S supera a todos los modelos anteriores, incluyendo RTMO-L (42.2 vs. 41.6 AP), demostrando una robustez superior en datos fuera de la distribución.
Eficiencia de Entrenamiento: Los modelos propuestos requieren de 5 a 10 veces menos épocas de entrenamiento para converger en comparación con las alternativas líderes.

Significancia y Limitaciones
El artículo afirma que DETRPose demuestra que los modelos basados en Transformers pueden adaptarse eficazmente para la estimación de la pose multi-persona en tiempo real, abriendo un futuro prometedor para los marcos de trabajo DETR en este dominio. Aborda el desafío de la latencia que históricamente ha limitado la aplicación de los Transformers en escenarios de tiempo real.

Sin embargo, los autores reconocen modestamente una limitación: a pesar de tener FLOPs similares a los modelos YOLO, DETRPose exhibe una latencia ligeramente mayor. Esto se atribuye al mecanismo de auto-atención de grupo, el cual requiere múltiples operaciones de transposición que rompen la contigüidad de los tensores, impactando así la velocidad de inferencia en el hardware actual.