ForestPersons: A Large-Scale Dataset for Under-Canopy Missing Person Detection

Este artigo apresenta o ForestPersons, um novo conjunto de dados em grande escala com mais de 96 mil imagens capturadas sob a copa das árvores, projetado especificamente para superar as limitações de detecção de pessoas desaparecidas em florestas por drones aéreos e melhorar as operações de busca e salvamento.

O essencial

Imagine que você é um bombeiro tentando encontrar alguém perdido no meio de uma floresta densa e escura. Se você tentar olhar de cima, de um helicóptero voando alto, você verá apenas o "telhado" da floresta: uma camada grossa de folhas, galhos e árvores. A pessoa perdida pode estar logo abaixo, mas para você, ela é invisível, escondida como um tesouro sob uma pilha de cobertores.

É exatamente esse o problema que os pesquisadores do ForestPersons estão tentando resolver.

Aqui está uma explicação simples do que eles fizeram, usando analogias do dia a dia:

1. O Problema: O "Telhado" da Floresta

Até agora, a maioria dos drones usados para resgate voava alto, tirando fotos de cima (como um mapa). O problema é que, na floresta, as árvores funcionam como um teto de folhas.

• A analogia: É como tentar encontrar alguém escondido debaixo de uma mesa cheia de roupas, mas você só consegue olhar pelo teto da sala. Você vê as roupas, mas não a pessoa.
• A consequência: Os modelos de inteligência artificial treinados com essas fotos de cima falham miseravelmente quando precisam procurar alguém no chão da floresta, entre os galhos.

2. A Solução: O "Chão" da Floresta

Os pesquisadores criaram um novo conjunto de dados chamado ForestPersons. Em vez de olhar de cima, eles simularam a visão de um drone pequeno (MAV) que voa baixo, quase na altura dos olhos de uma pessoa, rastejando entre as árvores.

• A analogia: Em vez de olhar o telhado, eles enviaram um "robô explorador" para entrar no quarto, abrir a porta e olhar debaixo da cama e atrás das cortinas.
• O que eles fizeram: Eles gravaram milhares de vídeos e fotos de pessoas (atores voluntários) escondidas na floresta. As pessoas estavam deitadas, sentadas ou em pé, cobertas por galhos, com neve, chuva ou sol.

3. O "Livro de Receitas" (O Dataset)

Pense no ForestPersons como um livro de receitas gigante para ensinar robôs a caçar.

• Tamanho: É enorme! Tem quase 100.000 fotos e mais de 200.000 anotações.
• Detalhes: Cada foto não diz apenas "tem uma pessoa aqui". Ela diz: "É uma pessoa deitada, com 70% do corpo visível, escondida por folhas de verão".
• Por que isso importa? Antigamente, os robôs só aprendiam a reconhecer pessoas de pé, em ruas vazias ou no céu. Agora, eles têm um "treinamento de sobrevivência" específico para quando a pessoa está machucada, deitada e quase invisível.

4. O Teste de Realidade

Os pesquisadores pegaram os melhores robôs (modelos de IA) que existiam antes e os colocaram para testar com esse novo "livro de receitas".

• O resultado: Os robôs treinados com fotos antigas (de cima ou de ruas) quase não conseguiam encontrar ninguém na floresta. Eles se perdiam.
• A virada: Quando os robôs foram treinados especificamente com o ForestPersons, eles começaram a ver o que antes era invisível. Eles aprenderam a ignorar os galhos e focar no que parecia ser uma pessoa.

5. Por que isso é um "Superpoder"?

Na vida real, quando alguém se perde na mata, o tempo é crucial.

• Sem este dataset: Os drones voam alto, não veem nada, e a busca demora dias.
• Com este dataset: Um drone pequeno pode entrar na floresta, voar baixo e a IA consegue gritar: "Ei! Tem alguém ali, atrás daquele arbusto, deitado!".

Resumo em uma frase

Os pesquisadores criaram o primeiro e maior "campo de treinamento" do mundo para ensinar robôs a procurar pessoas perdidas embaixo das árvores, onde a visão é difícil e a pessoa pode estar escondida, garantindo que, quando a tecnologia for usada no mundo real, ela não falhe no momento mais importante.

É como trocar um mapa de satélite por uma lanterna potente que consegue ver através da escuridão da floresta.

Resumo técnico

Resumo Técnico: ForestPersons

1. O Problema

A detecção de pessoas desaparecidas em ambientes florestais densos permanece um desafio crítico para missões de Busca e Resgate (SAR). Embora os Veículos Aéreos Não Tripulados (UAVs) sejam eficazes para cobrir grandes áreas, as perspectivas aéreas tradicionais (alta altitude, visão de cima para baixo ou oblíqua) falham frequentemente em ambientes com copas de árvores densas.

• Limitações Atuais: A vegetação densa causa oclusões severas e imprevisíveis, ocultando indivíduos que podem estar sentados, deitados ou parcialmente visíveis. Em imagens de alta altitude, as pessoas podem ocupar apenas alguns pixels, tornando a detecção confiável extremamente difícil.
• Falta de Dados: Não existem conjuntos de dados dedicados e em larga escala que simulem a perspectiva de baixo para cima (nível do solo ou baixa altitude) típica de Micro Veículos Aéreos (MAVs) operando sob a copa das árvores. Os conjuntos de dados existentes focam em visão aérea ou em ambientes urbanos/abertos, não capturando as nuances de oclusão por vegetação e poses não ortostáticas (sentado/deitado) comuns em florestas.

2. Metodologia e o Dataset ForestPersons

Os autores introduzem o ForestPersons, um novo conjunto de dados em larga escala projetado especificamente para a detecção de pessoas sob a copa das árvores.

• Coleta de Dados:
  • Escala: 96.482 imagens e 204.078 anotações de instâncias de pessoas.
  • Perspectiva: Câmeras manuais e em tripés posicionadas a 1,5m - 2,0m de altura, simulando a altitude de voo de MAVs sob a copa.
  • Diversidade: Dados coletados em diversas estações (verão, outono, inverno com neve), condições climáticas (sol, chuva, neblina) e horários (tarde, crepúsculo).
  • Cenários: Inclui florestas densas, vales e bordas de floresta, com simulação de situações realistas de desaparecimento (fadiga, desorientação).
• Anotações Ricas:
  • Caixas Delimitadoras (Bounding Boxes): Apenas as partes visíveis do corpo são anotadas.
  • Atributos Semânticos: Cada pessoa é rotulada com Pose (em pé, sentada, deitada) e Nível de Visibilidade (escala de 20 a 100, onde 20 é oclusão pesada e 100 é visibilidade total).
  • Privacidade: Processamento automático e manual para ofuscar rostos, garantindo anonimato.
• Estratégia de Divisão (Split):
  • O dataset foi dividido em Treino/Validação/Teste no nível da sequência de vídeo (não quadro a quadro) para evitar vazamento de dados.
  • Divisão Consciente de Dificuldade: As sequências foram classificadas por dificuldade baseada no desempenho de um modelo pré-treinado (Faster R-CNN) e distribuídas proporcionalmente entre os splits, garantindo que cada conjunto tenha uma mistura equilibrada de cenários fáceis, médios e difíceis.
• Dataset Complementar (ForestPersonsIR): Um conjunto de dados de imagens térmicas (Infravermelho) com 64.142 imagens também foi lançado para complementar a busca em condições de baixa visibilidade.

3. Contribuições Principais

1. Primeiro Benchmark sob Copas: É o primeiro benchmark de larga escala projetado explicitamente para a detecção de pessoas sob a copa florestal, preenchendo uma lacuna crítica entre datasets aéreos e de nível do solo urbanos.
2. Anotações para SAR Realista: A inclusão de poses não ortostáticas (sentado/deitado) e níveis de visibilidade quantificados permite o treinamento de modelos robustos para cenários onde a pessoa pode estar inconsciente ou oculta.
3. Análise de Generalização: O trabalho demonstra empiricamente que modelos treinados em datasets SAR aéreos ou datasets de pedestres urbanos falham drasticamente neste cenário, validando a necessidade de dados específicos.
4. Avaliação de Modelos de Estado da Arte: Fornece uma avaliação abrangente de diversos detectores (YOLO, Faster R-CNN, Transformers como DINO/DETR) e modelos de linguagem-vision (VLMs) no contexto de SAR.

4. Resultados Experimentais

• Desempenho de Modelos Existentes: Modelos treinados em datasets SAR aéreos (como SARD, WiSARD) ou datasets de nível do solo (COCO, CrowdHuman) apresentaram desempenho muito baixo no ForestPersons (AP < 12% em alguns casos), devido à diferença de perspectiva e à falta de exemplos de oclusão densa.
• Benchmark no ForestPersons:
  • Modelos baseados em YOLO (especialmente YOLOv11) e Transformers (DINO, Deformable R-CNN) mostraram os melhores resultados.
  • O Deformable R-CNN alcançou a maior AP (66.3%), enquanto o DINO teve a melhor Recall (77.7), crucial para missões de SAR onde falsos negativos são inaceitáveis.
  • O CZ Det (detector com mecanismo de zoom em cascata) obteve os melhores resultados em AP50 (96.1) e AP75 (77.9).
• Impacto de Atributos:
  • Pose: Modelos treinados apenas em pessoas em pé falham em detectar pessoas sentadas ou deitas. A diversidade de poses no dataset é essencial.
  • Estação: Modelos treinados apenas no inverno generalizam mal para o verão (e vice-versa), destacando a necessidade de dados multi-estacionais.
  • Visibilidade: O desempenho cai consistentemente à medida que o nível de visibilidade diminui (maior oclusão).
• Validação em MAV Real: Embora os dados tenham sido coletados com câmeras manuais, modelos treinados no ForestPersons superaram modelos treinados em datasets aéreos reais quando testados em um conjunto de dados de voo real de MAV, sugerindo que a perspectiva de baixo para baixo é mais importante do que a presença de artefatos de movimento específicos de drones para a tarefa de detecção.
• VLMs (Zero-Shot): Modelos de Linguagem-Vision (como GPT-4o, Gemini) tiveram desempenho quase nulo em detecção zero-shot, confirmando que a supervisão específica do domínio é necessária para esta tarefa.

5. Significado e Impacto

O ForestPersons estabelece um novo padrão para o desenvolvimento de IA em missões de Busca e Resgate autônomas.

• Avanço Prático: Ao fornecer dados que refletem as condições reais de operação de MAVs sob copas, o dataset permite o desenvolvimento de algoritmos que podem realmente encontrar pessoas desaparecidas em florestas, onde a tecnologia atual falha.
• Reprodutibilidade: Oferece uma base padronizada e reproduzível para comparar futuros métodos de detecção.
• Direções Futuras: O trabalho sugere que a combinação de dados diversificados (como o ForestPersons) com planejamento de trajetória de voo consciente da visão e o uso de sensores térmicos (IR) são caminhos promissores para aumentar as taxas de sucesso em resgates reais.

O dataset está disponível publicamente para pesquisa, com restrições de uso para fins militares ou prejudiciais, focando no avanço humanitário da tecnologia de SAR.