💻 computer science

DETRPose: Real-Time End-to-End Multi-Person Pose Estimation via Modified Transformer Decoder and Novel Denoising Keypoints

Este artigo apresenta o DETRPose, a primeira família de modelos transformer ponta a ponta e em tempo real para estimativa de pose multi-pessoa que alcança precisão de estado da arte com significativamente menos parâmetros e velocidades de inferência mais rápidas ao aproveitar um decodificador modificado, uma técnica de denoising de keypoints inovadora e uma perda Varifocal estendida.

Autores originais: Sebastian Janampa, Marios Pattichis

Publicado 2026-07-03

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Sebastian Janampa, Marios Pattichis

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está em uma festa lotada e precisa tirar uma foto dos movimentos de dança de todos. Seu objetivo é identificar instantaneamente cada pessoa e desenhar um boneco de palitinho sobre ela, conectando todos os seus pontos (ombros, cotovelos, joelhos, etc.) corretamente. É isso que os cientistas da computação chamam de Estimativa de Pose Multi-Pessoa (Multi-Person Pose Estimation).

Por muito tempo, os computadores tiveram dificuldade em fazer isso rapidamente. Eles eram ou muito precisos, mas lentos (como um artista cuidadoso levando horas para desenhar uma única pessoa), ou rápidos, mas desorganizados (como um concurso de desenho rápido onde os membros ficam misturados).

Este artigo apresenta o DETRPose, um novo sistema que atua como um "fotógrafo de festas super-rápido e super-preciso" que utiliza um tipo especial de cérebro de IA chamado Transformer. Veja como ele funciona, dividido em conceitos simples:

1. O Problema: O Gargalo de "Busca e Recorte" (Search and Crop)

A maioria dos métodos rápidos costumava funcionar como um segurança de uma boate. Primeiro, o segurança localiza uma pessoa, recorta ela da multidão (crop) e então tenta desenhar seu esqueleto.

A Falha: Se houver 50 pessoas na festa, o segurança tem que fazer isso 50 vezes. Quanto mais pessoas, mais lento é o processo.
O Antigo Problema do Transformer: Modelos de IA (Transformers) mais novos e inteligentes podiam olhar para a multidão inteira de uma vez, mas eram lentos demais para serem úteis em tempo real. Eram como um gênio que precisava de uma semana para resolver um quebra-cabeça que uma criança resolveria em um minuto.

2. A Solução: DETRPose

Os autores construíram o DETRPose, o primeiro modelo Transformer que consegue realizar este trabalho em tempo real. Ele olha para a imagem inteira de uma só vez e desenha esqueletos para todos simultaneamente.

Para tornar isso possível, eles introduziram três "truques" principais:

Truque A: O Treinamento de "Cancelamento de Ruído" (Denoising Keypoints)

Imagine que você está ensinando um aluno a encontrar um ponto específico em um mapa.

Jeito Antigo: Você apenas mostra o ponto exato.
Jeito DETRPose: Você mostra o ponto exato, mas também mostra pontos "falsos" que estão ligeiramente fora do lugar (muito à esquerda, muito à direita). Você ensina ao aluno: "Este aqui é o real, mas aqueles outros estão perto, mas errados."
O Resultado: Ao treinar a IA para distinguir entre pontos "reais" e pontos falsos "com ruído", o modelo aprende muito mais rápido e torna-se muito mais confiante. Isso é chamado de Denoising Keypoints.

Truque B: A Pontuação de "Controle de Qualidade" (KSVF Loss)

Normalmente, os modelos de IA adivinham onde um ponto está e dão uma pontuação. Mas na estimativa de pose, um "bom palpite" não é apenas sobre estar perto; é sobre o quão bem o ponto se encaixa na forma do corpo da pessoa.

Os autores criaram uma nova regra de pontuação chamada Keypoint Similarity VariFocal (KSVF) loss.
Pense nisso como um professor rigoroso que não avalia apenas pela "proximidade", mas também verifica se a resposta faz sentido no contexto de toda a imagem. Isso ajuda a IA a ignorar palpites ruins e focar apenas nos de alta qualidade, economizando poder de computação.

Truque C: O "Decodificador Refinado" (O Upgrade do GroupPose)

A parte da IA que realmente desenha as linhas (o decodificador) foi atualizada.

Eles removeram etapas desnecessárias que tornavam tudo mais lento.
Adicionaram uma camada especial chamada Pose-LQE (Estimativa de Qualidade de Localização). Pense nisso como um segundo par de olhos que confere o desenho antes que a imagem final seja enviada, garantindo que os ombros e cotovelos sejam colocados perfeitamente sem atrasar o processo.

3. Os Resultados: Velocidade vs. Precisão

O artigo compara o DETRPose com os atuais campeões (como modelos YOLO e outros modelos Transformer pesados).

O Modelo "Pequeno" (DETRPose-S): É tão preciso quanto os modelos YOLO maiores e mais pesados, mas é muito menor (usa 81% menos recursos de memória) e muito mais rápido (a inferência é 52% mais rápida).
O Modelo "Grande" (DETRPose-X): Em um conjunto de dados muito lotado (CrowdPose), ele supera quase todos os outros modelos Transformer enquanto usa 13 vezes menos poder de computação (FLOPs).
O Teste "Fora da Distribuição" (Out-of-Distribution): Quando testado em um conjunto de dados de pessoas em poses muito estranhas, lotadas ou incomuns (OCHuman) que o modelo não tinha visto antes, o DETRPose teve um desempenho melhor do que todos os outros. Isso mostra que ele é robusto e não apenas memoriza os dados de treinamento.

4. A Única Ressalva

Os autores admitem uma limitação: embora o DETRPose seja matematicamente eficiente, ele ainda é ligeiramente mais lento que os modelos "YOLO" absolutos em velocidade bruta. Isso ocorre porque a maneira como ele agrupa as pessoas exige algum embaralhamento de dados complexo (como reorganizar um baralho de cartas) que leva um pouco mais de tempo. No entanto, ele é rápido o suficiente para ser considerado "tempo real" e é muito mais eficiente do que as tentativas anteriores de Transformer.

Resumo

O DETRPose é um avanço porque finalmente traz o poder "inteligente e onipresente" da IA Transformer para a estimativa de pose em tempo real. Ele faz isso ensinando a IA a aprender com seus erros mais rapidamente (denoising), avaliando suas respostas de forma mais inteligente (KSVF loss) e otimizando seu processo de desenho. O resultado é um sistema que é incrivelmente preciso, lida melhor com multidões do que antes e roda rápido o suficiente para aplicações do mundo real, como realidade virtual ou reconhecimento de atividades.

Resumo Técnico: DETRPose

Problema
A estimativa de pose multi-pessoa (MPPE) é uma tarefa fundamental de visão computacional, essencial para aplicações como reconhecimento de atividades, estimativa de pose 2D-para-3D e realidade virtual. Embora modelos baseados em Transformer tenham alcançado alta precisão em MPPE, eles tipicamente sofrem com alta latência, impedindo a implantação em tempo real. Por outro lado, métodos de estágio único rápidos (ex: abordagens baseadas em YOLO) frequentemente dependem de Non-Maximum Suppression (NMS), o que leva a tempos de inferência inconsistentes, ou sofrem com menor precisão devido à dificuldade de aprender simultaneamente detecção e agrupamento de pose. Embora o framework DETR ofereça inferência consistente e de ponta a ponta sem NMS, as adaptações anteriores para estimativa de pose priorizaram a precisão em detrimento da velocidade, deixando uma lacuna para uma solução de MPPE baseada em Transformer que seja em tempo real e de ponta a ponta.

Metodologia
Os autores apresentam o DETRPose, a primeira família de modelos Transformer de tempo real e de ponta a ponta para estimativa de pose 2D multi-pessoa. A arquitetura baseia-se no framework D-FINE, utilizando um backbone hierárquico (variantes HGNetv2) e um codificador híbrido. A inovação central reside na modificação do decodificador GroupPose e na introdução de novas estratégias de treinamento para acelerar a convergência e melhorar a qualidade das queries.

Os principais componentes metodológicos incluem:

Denoising de Keypoints: Diferente das técnicas de denoising padrão para detecção de objetos que deslocam e escalonam caixas delimitadoras (bounding boxes), os autores propõem uma estratégia inovadora para keypoints. Eles definem a Similaridade de Keypoint (KS) baseada na distância entre um keypoint de verdade fundamental (ground-truth) e um ponto amostrado, escalonada pela área segmentada do objeto e um parâmetro de queda ( $\kappa$ ). Esta métrica gera queries positivas e negativas ao deslocar os keypoints de ground-truth ao longo de vetores unitários aleatórios, estabilizando o combinador (matcher) de Hungarian durante o início do treinamento.
Camada de Pose-LQE (Estimativa de Qualidade de Localização): Uma camada de classificação auxiliar que extrai informações de conteúdo do mapa de características de maior nível espacial do codificador em cada keypoint. Ela refina os scores de classificação combinando as queries de saída, localizações previstas e características de conteúdo, abordando o desafio de que o DETRPose prevê keypoints em vez de caixas de objetos.
Perda Keypoint Similarity VariFocal (KSVF): Uma extensão da perda VariFocal adaptada para estimativa de pose. Como o DETRPose não prevê caixas delimitadoras, ele não pode usar a perda de Intersecção sobre União (IoU). A KSVF utiliza a métrica de Similaridade de Keypoint (OKS) e os scores previstos para penalizar previsões de baixa qualidade, incentivando a rede a focar em queries de alta similaridade e reduzindo falsos positivos.
Otimizações Arquiteturais: O decodificador integra as camadas de pre-pose e Fine-Grained Distribution Refinement (FDR) do D-FINE. Para reduzir ainda mais a latência, as camadas de projeção foram removidas, e o decodificador GroupPose foi adaptado para suportar inferência em tempo real via mecanismos de autoatenção de grupo (group self-attention).

Principais Contribuições
O artigo reivindica quatro contribuições primárias:

Uma nova técnica de denoising para estimativa de pose: Utilizando a Similaridade de Keypoint (KS) do objeto para construir tanto queries de keypoints positivas quanto negativas, sendo a primeira para tarefas de estimativa de pose.
Uma camada de classificação auxiliar Pose-LQE: Um módulo leve que melhora o desempenho de classificação sem aumentar a latência de inferência.
Uma nova função de perda (KSVF): Projetada para promover a seleção de queries de objetos de alta qualidade usando a métrica KS.
Um decodificador GroupPose modificado: Adaptado para permitir a estimativa de pose multi-pessoa em tempo real e de ponta a ponta para modelos baseados em Transformer.

Resultos
Avaliações extensas nos datasets COCO, CrowdPose e OCHuman demonstram que o DETRPose alcança uma precisão comparável ou superior às principais alternativas, enquanto reduz significativamente o custo computacional e o tempo de treinamento.

Dataset COCO: O DETRPose-S iguala a precisão do YOLOv8-Pose-X e YOLO11-Pose-X (67.0 AP vs. 67.3 e 67.2 AP), mas requer 81% menos parâmetros (11.5M vs. 69.4M/58.8M) e é 52% mais rápido (2.39ms vs. 5.23ms/4.93ms). O DETRPose-L atinge 71.2 AP com latência de 4.66ms, superando métodos anteriores de ponta a ponta e oferecendo um melhor equilíbrio entre parâmetros/latência do que o RTMO-L.
Dataset CrowdPose: O DETRPose-X estabelece um novo estado da arte para modelos em tempo real com 75.1 AP. Ele supera modelos Transformer com backbones Swin-L por pelo menos 1 ponto de AP, enquanto utiliza significativamente menos parâmetros (73.3M vs. 210M) e 13.1× menos FLOPs em comparação ao ED-Pose-SwinL-5S.
Dataset OCHuman (Fora de Distribuição): O DETRPose-S supera todos os modelos anteriores, incluindo o RTMO-L (42.2 vs. 41.6 AP), demonstrando robustez superior em dados fora de distribuição.
Eficiência de Treinamento: Os modelos propostos requerem de 5 a 10 vezes menos épocas de treinamento para convergir em comparação com as principais alternativas.

Significância e Limitações
O artigo afirma que o DETRPose prova que modelos baseados em Transformer podem ser efetivamente adaptados para estimativa de pose multi-pessoa em tempo real, abrindo um futuro promissor para os frameworks DETR neste domínio. Ele aborda o desafio da latência que historicamente limitou a aplicação de Transformers em cenários de tempo real.

No entanto, os autores reconhecem modestamente uma limitação: apesar de possuir FLOPs similares aos modelos YOLO, o DETRPose exibe uma latência ligeiramente superior. Isso é atribuído ao mecanismo de autoatenção de grupo, que requer múltiplas operações de transposição que quebram a contiguidade dos tensores, impactando assim a velocidade de inferência no hardware atual.