A Two-Stage Detection-Tracking Framework for Stable Apple Quality Inspection in Dense Conveyor-Belt Environments

Este artigo apresenta um framework de dois estágios que combina detecção YOLOv8, rastreamento ByteTrack e classificação ResNet18 para garantir inspeção de qualidade estável e temporalmente consistente de maçãs em esteiras rolantes industriais densas.

O essencial

Imagine que você é o gerente de uma fábrica de maçãs. O objetivo é simples: separar as maçãs perfeitas das que estão estragadas (com manchas, podres ou machucadas) enquanto elas passam rapidamente numa esteira rolante.

O problema é que a esteira está superlotada. As maçãs estão muito juntas, se movem rápido, às vezes uma esconde a outra e a luz muda. Se você usar apenas uma câmera que tira fotos rápidas (quadro a quadro), o sistema pode ficar confuso: "Será que essa maçã aqui é boa? Não, espera, na foto seguinte parece ruim... agora parece boa de novo!" Isso gera erros e maçãs boas sendo jogadas fora.

Este artigo apresenta uma solução inteligente para esse caos, funcionando como um sistema de vigilância com memória. Vamos dividir em três partes simples:

1. O "Detetive" que encontra as maçãs (Detecção)

Primeiro, o sistema usa um "olho" muito esperto chamado YOLOv8. Pense nele como um detetive treinado em um pomar, onde as maçãs estão entre as árvores e a luz é natural. Mesmo que ele nunca tenha visto uma fábrica antes, ele é tão bom que consegue apontar para cada maçã na esteira e dizer: "Ei, tem uma maçã ali!". Ele desenha uma caixinha ao redor de cada uma.

2. O "Guarda-Costas" que não perde o rastro (Rastreamento)

Aqui está a mágica. Em vez de tratar cada foto como um evento isolado, o sistema usa um "guarda-costas" chamado ByteTrack.

• Sem ele: Seria como tentar seguir uma pessoa em uma multidão apenas olhando fotos soltas. Você perde a pessoa e acha que é outra.
• Com ele: O sistema dá um nome (ou um número de identificação) para cada maçã assim que a vê. Se a maçã 101 passa por trás de outra, o sistema sabe: "Ok, a maçã 101 está escondida, mas ela ainda é a maçã 101". Ele mantém a identidade da maçã o tempo todo enquanto ela viaja na esteira.

3. O "Especialista" que toma a decisão final (Classificação e Consolidação)

Agora que sabemos quem é quem, o sistema corta a imagem de cada maçã e manda para um "especialista" (um modelo chamado ResNet18) para ver se ela está estragada.

• O problema: Às vezes, a maçã está tremendo ou com sombra, e o especialista pode ter um "branco" e dizer "estragada" num segundo e "boa" no outro.
• A solução: O sistema não toma a decisão baseada em apenas uma foto. Ele junta todas as opiniões que teve sobre a mesma maçã enquanto ela passou pela esteira. É como se você perguntasse a 10 pessoas sobre a qualidade de uma maçã e seguisse a opinião da maioria. Se 9 disseram "boa" e 1 disse "estragada" (porque a maçã estava embaçada), o sistema decide: "É uma maçã boa!".

Por que isso é importante?

Antes, as fábricas tentavam julgar a qualidade maçã por maçã, foto por foto, o que gerava muita confusão e erro.
Este novo método é como ter um chefe de qualidade que tem memória. Ele não julga a maçã pelo que vê num único instante de confusão; ele observa a maçã inteira durante sua viagem na esteira e só toma a decisão final quando tem certeza.

Resumo da Ópera:
O artigo diz: "Não olhe apenas para a foto; olhe para a história da maçã". Ao combinar a detecção (achar a maçã), o rastreamento (não perdê-la) e a votação (tirar a média das opiniões), eles criaram um sistema muito mais estável e confiável para garantir que apenas maçãs de alta qualidade cheguem ao consumidor, mesmo em esteiras superlotadas e rápidas.

Resumo técnico

Resumo Técnico: Framework de Detecção e Rastreamento em Duas Etapas para Inspeção Estável de Qualidade de Maçãs

1. O Problema

Sistemas industriais de inspeção de frutas operam em ambientes desafiadores, caracterizados por objetos densamente agrupados, movimento contínuo em esteiras transportadoras e variações de iluminação. Embora modelos de aprendizado profundo (como YOLO) tenham alcançado alta precisão na detecção de frutas em imagens estáticas (nível de imagem), a maioria das abordagens existentes falha ao garantir consistência temporal em fluxos de vídeo.

• Inconsistência de Quadros: A classificação quadro a quadro (frame-wise) frequentemente produz previsões flutuantes devido a borrões de movimento, oclusões parciais e mudanças de iluminação.
• Falta de Identidade Persistente: Sem rastreamento, o sistema não consegue manter a identidade de uma maçã específica ao longo do tempo, levando a decisões de classificação instáveis e não confiáveis para sistemas de graduação industrial.
• Lacuna de Implantação: Existe uma desconexão entre benchmarks de detecção em imagens estáticas (treinados em pomares) e a implantação real em vídeos de esteiras industriais, onde a estabilidade da decisão por objeto é crítica.

2. Metodologia

Os autores propõem um framework de duas etapas (Detecção-Rastreamento) projetado para inspeção de qualidade estável em vídeos de esteiras industriais. O pipeline consiste nos seguintes componentes:

• Etapa 1: Detecção de Maçãs (YOLOv8):
  • Um modelo YOLOv8, pré-treinado em um conjunto de dados de maçãs coletado em ambientes de pomar (condições de luz natural), é utilizado para localizar maçãs em cada quadro do vídeo industrial.
  • O modelo é aplicado diretamente no cenário da esteira sem ajuste fino adicional, testando a robustez da transferência de domínio.
• Etapa 2: Rastreamento de Múltiplos Objetos (ByteTrack):
  • O algoritmo ByteTrack é empregado para associar as caixas de detecção entre quadros consecutivos.
  • Isso atribui um ID de rastreamento único persistente a cada maçã, permitindo o raciocínio ao nível do objeto e prevenindo a troca de identidade em ambientes densos.
• Etapa 3: Classificação de Defeitos (ResNet18):
  • Para cada região de maçã detectada e rastreada, uma imagem recortada é classificada quanto à qualidade usando uma rede ResNet18.
  • O classificador é inicializado com pesos do ImageNet e ajustado (fine-tuned) em um conjunto de dados específico de "Frutas Saudáveis vs. Defeituosas" (incluindo classes como frescas, com contusão, podres e com sarna).
• Etapa 4: Agregação ao Nível do Rastreamento (Track-Level Aggregation):
  • Para mitigar a oscilação das previsões quadro a quadro, todas as previsões de defeito associadas a um único ID de rastreamento são coletadas.
  • Um mecanismo de votação majoritária é aplicado a essas previsões para determinar a etiqueta final de qualidade para aquela maçã específica, garantindo consistência temporal.

3. Principais Contribuições

• Framework Unificado: Integração de detecção, rastreamento e classificação em um pipeline baseado em vídeo, focado especificamente na estabilidade temporal para inspeção industrial.
• Métricas de Avaliação Industrial: Definição de novas métricas em nível de vídeo, além da precisão tradicional em nível de imagem:
  • Taxa de Defeitos por Rastreamento (Track-level Defect Ratio): Proporção de rastreamentos classificados como defeituosos.
  • Estabilidade Temporal: Medida da consistência das previsões ao longo do comprimento do rastreamento (redução de mudanças de rótulo desnecessárias).
• Validação de Transferência de Domínio: Demonstração de que um detector treinado em pomares pode ser eficaz em esteiras industriais quando combinado com rastreamento robusto.
• Abordagem de Agregação: Evidência de que a agregação de previsões ao nível do rastreamento é superior à inferência quadro a quadro para reduzir falsos positivos/negativos causados por artefatos de vídeo.

4. Resultados Esperados e Análise

Como um estudo de viabilidade preliminar, os resultados indicam:

• Estabilidade Aprimorada: O sistema com rastreamento e agregação demonstra uma redução significativa na oscilação de previsões em comparação com a classificação quadro a quadro.
• Robustez a Perturbações: A abordagem é capaz de lidar melhor com borrões de movimento e oclusões parciais, mantendo a identidade do objeto e a decisão de qualidade estável.
• Desempenho de Detecção: O YOLOv8 pré-treinado mantém alta precisão na localização, apesar da mudança de domínio (pomar vs. fábrica), embora haja uma degradação menor esperada.
• Confiabilidade na Classificação: A agregação por votação majoritária suaviza as decisões, resultando em uma estimativa de taxa de defeitos mais confiável para o nível de vídeo.

5. Significância

Este trabalho é significativo porque preenche a lacuna entre a pesquisa acadêmica baseada em imagens estáticas e a necessidade de sistemas de graduação de frutas práticos e robustos na indústria.

• Mudança de Paradigma: Demonstra que a simples detecção e classificação em imagens não são suficientes para ambientes industriais dinâmicos; o modelagem temporal (rastreamento) é essencial.
• Aplicabilidade Industrial: O framework proposto oferece uma solução viável para automatizar a inspeção de qualidade em esteiras de alta velocidade, onde a estabilidade da decisão é crucial para a aceitação ou rejeição de produtos.
• Direções Futuras: O estudo estabelece uma base para futuras investigações sobre generalização de domínio, integração de múltiplas câmeras e validação em larga escala em ambientes industriais reais.

Em resumo, o artigo valida que a integração de rastreamento de objetos com classificação de defeitos é fundamental para criar sistemas de inspeção de frutas que sejam não apenas precisos, mas também estáveis e confiáveis em condições operacionais reais.