💻 computer science

Robotic Strawberry Harvesting with Robust Vision and Deep Reinforcement Learning based Sim-to-Real Control

Este artigo apresenta um sistema de colheita robótica de morangos em malha fechada que integra um modelo de visão HRAttnEdge-YOLO26-seg robusto com controle de aprendizado por reforço profundo treinado em simulação para alcançar altas taxas de sucesso em ambientes agrícolas complexos, ao mesmo tempo em que reduz a dependência de hardware e os custos de desenvolvimento.

Autores originais: Al Bashir, Shao-Yang Chang, Partho Ghose, Prem Raj, Chen-Kang Huang, Azlan Zahid

Publicado 2026-05-25

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Al Bashir, Shao-Yang Chang, Partho Ghose, Prem Raj, Chen-Kang Huang, Azlan Zahid

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um robô tentando colher um morango em um jardim lotado. As folhas estão por toda parte, as bagas se escondem atrás dos caules e o robô precisa ser gentil o suficiente para não esmagar a fruta, mas forte o suficiente para arrancá-la da videira. Fazer isso automaticamente é incrivelmente difícil porque o robô precisa "ver" a baga claramente e depois "mover" seu braço suavemente, sem esbarrar em nada.

Este artigo descreve um novo sistema robótico projetado para resolver esse problema usando dois truques principais: um par superafiado de "óculos" (visão) e um cérebro de "memória muscular" (controle) que foi treinado em um videogame antes de tocar em um robô real.

Veja como o sistema funciona, dividido em partes simples:

1. Os "Super-Óculos": Vendo Através da Bagunça

O Problema: Em uma estufa real, os morangos frequentemente ficam escondidos atrás de folhas ou agrupados. A visão computacional padrão é como olhar para uma pilha bagunçada de roupas; pode-se ver uma mancha vermelha, mas não é possível dizer exatamente onde a baga termina e a folha começa. Se o robô errar a estimativa da borda, pode agarrar uma folha em vez da fruta.

A Solução: Os pesquisadores criaram um novo tipo de software de câmera chamado HRAttnEdge-YOLO26-seg.

A Analogia: Pense no software de visão padrão como um pintor usando um pincel grosso e rombo. Ele captura a forma geral do morango, mas deixa bordas desfocadas. Este novo software é como um artista mestre usando uma caneta de ponta fina. Ele possui três ferramentas especiais:
1. Lente de Alta Resolução: Mantém uma visão "ampliada" de detalhes minúsculos (como o caule e a borda da baga) que outros sistemas geralmente descartam.
2. Filtro de Foco: Ignora o ruído de fundo (folhas e sombras) e foca apenas nas partes da imagem que parecem frutas.
3. Detetive de Bordas: Procura especificamente as linhas nítidas onde a fruta termina, garantindo que o robô saiba exatamente onde agarrar.
O Resultado: Quando testado, este sistema foi muito melhor em traçar o contorno perfeito ao redor de um morango, mesmo quando parcialmente escondido, comparado a métodos mais antigos.

2. O "Treinamento em Videogame": Aprendendo a Mover sem Quebrar Coisas

O Problema: Ensinar um braço robótico a mover-se suavemente geralmente envolve "tentativa e erro". Você diz ao robô para mover, ele colide, você conserta, tenta novamente. Isso é caro, lento e arrisca quebrar o robô ou as delicadas bagas.

A Solução: Os pesquisadores usaram Aprendizado por Reforço Profundo (DRL), especificamente um método chamado PPO.

A Analogia: Em vez de ensinar o robô na estufa real, eles o colocaram em um videogame virtual (Isaac Lab). Neste jogo, criaram milhares de estufas falsas com morangos falsos. O robô jogou o jogo milhões de vezes, tentando alcançar o alvo. Toda vez que se movia suavemente, ganhava um "ponto". Toda vez que dava um tranco ou colidia, perdia pontos.
A Transferência: Uma vez que o robô se tornou mestre no jogo, eles pegaram aquele "cérebro" (a política) e o carregaram no robô real. Como já havia aprendido a melhor maneira de se mover na simulação, pôde executar imediatamente movimentos suaves e fluidos no mundo real, sem precisar colidir em nada primeiro.
A Comparação: Eles testaram isso contra um método tradicional (Cinemática Inversa), que é como tentar resolver uma equação matemática complexa em tempo real para mover o braço. O método tradicional era trêmulo e frequentemente falhava. O robô "treinado em videogame" moveu-se como um dançarino humano — suave e previsível.

3. A "Linha de Montagem": Juntando Tudo

A equipe conectou essas duas partes usando uma linguagem padrão de robótica (ROS).

Ver: A câmera localiza um morango e traça um contorno perfeito ao seu redor.
Calcular: Encontra o centro desse contorno e determina exatamente onde ele está no espaço 3D.
Mover: O cérebro "treinado em videogame" diz ao braço do robô como mover suas juntas para alcançar aquele ponto.
Agarrar: Uma garra macia (como uma mão gentil) segura a baga e a puxa da videira.
Repetir: O robô deposita a baga em uma cesta e vai para a próxima.

O Teste no Mundo Real

Eles levaram este sistema para uma estufa real no Texas.

O Placar: O robô alcançou com sucesso os morangos 96,6% das vezes. Conseguiu agarrar e puxá-los com sucesso 91,3% das vezes. No geral, colheu com sucesso 84,3% das tentativas.
A Comparação: Isso foi muito melhor do que usar o antigo método de "equação matemática", que era muito instável e pouco confiável para o ambiente bagunçado da estufa.

O Que Eles Não Fizeram (Limitações)

O artigo é muito claro sobre o que este sistema não faz ainda:

Não conhece o ângulo exato do caule (apenas mira no centro da fruta).
Não move ativamente a câmera para olhar ao redor das folhas se uma baga estiver bloqueada; apenas escolhe as que consegue ver.
Depende de o robô estar configurado de uma maneira específica; se você mover o robô para uma estufa diferente, terá que recalibrar o "mapa" entre a câmera e o braço.

A Conclusão

Este artigo apresenta um robô que usa visão inteligente para ver claramente através da desordem e treinamento simulado em videogame para mover-se suavemente. Ele prova que não é necessário quebrar um robô real para ensiná-lo a colher frutas; você pode ensiná-lo em um mundo virtual e depois deixá-lo fazer o trabalho real.

Resumo Técnico: Colheita Robótica de Morangos com Visão Robusta e Controle Sim-to-Real Baseado em Aprendizado por Reforço Profundo

Declaração do Problema
A colheita robótica na agricultura de ambiente controlado (CEA) enfrenta desafios significativos devido à natureza intensiva em mão de obra da tarefa e à complexidade do ambiente. Especificamente, a colheita de morangos requer a seleção de frutos individuais, o manuseio cuidadoso e a remoção dentro de uma janela de maturação estreita. Os sistemas atuais lutam com três problemas fortemente acoplados: percepção precisa de frutos em cenas desordenadas, estimativa estável de alvos 3D para manipulação e geração eficiente de movimentos sob incerteza e restrições do espaço de trabalho. Abordagens tradicionais frequentemente dependem de cinemática inversa (IK) e percepção de propósito geral, o que pode levar a trajetórias instáveis, sensibilidade a ruídos de calibração e geração de alvos não confiáveis em ambientes agrícolas densos e ocluídos. Além disso, treinar políticas de controle em robôs físicos é custoso, lento e propenso a danos ao hardware.

Metodologia
Os autores propõem um sistema de colheita robótica em malha fechada integrando um módulo de visão robusto, controle de Aprendizado por Reforço Profundo (DRL) treinado em simulação e execução em robô real baseado em ROS.

Módulo de Visão (HRAttnEdge-YOLO26-seg):
Para abordar a segmentação de instâncias em cenas de estufa desordenadas, os autores modificaram a arquitetura YOLO26-seg em HRAttnEdge-YOLO26-seg. As principais melhorias arquiteturais incluem:
- Ramo P2 de Alta Resolução: Integração de um ramo de características com passo 4 ( $P2/4$ ) para preservar detalhes espaciais finos (por exemplo, cálice e bordas especulares) frequentemente perdidos em características de baixa resolução.
- Atenção no Caminho de Segmentação: Aplicação de Cross Stage Partial com Atenção Espacial (C2PSA) especificamente nos caminhos de características $P2$ e $P3$ para afiar as bordas das máscaras sem aumentar o cálculo global da rede.
- Aprendizado de Protótipos Supervisionado por Bordas: Substituição do ramo de protótipos padrão por Proto26Edge, que inclui um cabeçalho auxiliar de borda e uma perda de supervisão de fronteira. Isso incentiva bordas de objetos nítidas durante o treinamento.
- Localização 3D: O sistema estima os centros 3D dos frutos fundindo os centróides das máscaras 2D com dados de profundidade alinhados de uma câmera RGB-D. Um esquema de associação temporal e suavização é aplicado para reduzir o tremor do alvo causado por ruído de profundidade e oclusão.
Módulo de Controle (Sim-to-Real DRL):
Em vez de depender de planejadores baseados em IK, os autores empregam Proximal Policy Optimization (PPO) treinado no ambiente de simulação Isaac Lab.
- Configuração de Treinamento: A política é treinada em um manipulador UR10e em uma simulação com randomização de domínio. O espaço de observação inclui posições/velocidades relativas das juntas, a pose comandada do efetuador final e a ação anterior. O espaço de ação consiste em comandos contínuos de posição das juntas.
- Função de Recompensa: A recompensa combina o erro de rastreamento de posição (distância euclidiana e um termo exponencial de alta granularidade próximo ao objetivo), erro de orientação e penalidades por mudanças rápidas de ação e altas velocidades das juntas para garantir movimentos suaves e estáveis.
- Implantação: A política treinada é exportada como um modelo TorchScript e integrada a um framework ROS. Uma camada de streaming de comandos converte as saídas da política em trajetórias de juntas executáveis, incluindo um mecanismo de parada para suprimir a oscilação de estado estacionário próximo ao alvo.
Integração do Sistema:
As camadas de percepção, controle e execução de tarefas são unificadas via ROS 1. O sistema opera de maneira sequencial: localizando morangos maduros, priorizando o alvo mais próximo, executando a política de alcance aprendida, realizando um desprendimento baseado em puxada para baixo e transferindo o fruto para uma cesta de coleta.

Principais Contribuições

HRAttnEdge-YOLO26-seg: Uma arquitetura de segmentação de instâncias novel especificamente projetada para cenas de morangos em estufa, alcançando precisão superior de bordas através da integração de características de alta resolução e supervisão de bordas.
Controlador PPO Treinado em Simulação: Desenvolvimento de um controlador de alcance condicionado a alvos para um braço UR10e usando Isaac Lab, permitindo a geração de movimentos suaves e dinamicamente estáveis sem extensa tentativa e erro física.
Pipeline Integrado em Malha Fechada: Um framework baseado em ROS que conecta com sucesso percepção especializada e controle treinado em simulação para executar colheita autônoma em uma plataforma robótica móvel física.

Resultados

Desempenho de Visão: Em conjuntos de dados coletados internamente e públicos, o modelo proposto superou o YOLO26-seg de linha de base e outros modelos mais avançados (YOLOv8-seg, YOLO11-seg). Demonstrou uma melhoria de 10% a 14% no desempenho de segmentação (mAP75 e mAP50:95), particularmente no manuseio de instâncias de frutos pequenos, parcialmente ocluídos e em cenas desordenadas.
Qualidade do Movimento: Comparações internas mostraram que o controlador PPO produziu movimentos significativamente mais estáveis e dinamicamente mais suaves (menor RMS de jerk e variabilidade) em comparação com uma linha de base MoveIt baseada em IK.
Sucesso na Colheita: Em testes em estufa envolvendo 281 morangos em 130 tentativas, o sistema alcançou:
- 96,6% de taxa de sucesso no alcance.
- 91,3% de taxa de sucesso na preensão e puxada.
- 84,3% de taxa geral de sucesso na colheita.
  A queda do sucesso no alcance para o sucesso final na colheita foi atribuída principalmente às limitações de manuseio de frutos pós-contato do garfo macio, e não a falhas de percepção ou alcance.

Significado e Alegações
O artigo afirma que este trabalho fornece uma alternativa prática e eficiente em recursos ao alcance convencional dependente de planejadores em manipulação. Ao combinar percepção específica da tarefa com PPO treinado em simulação, o sistema permite colheita robótica em malha fechada confiável em ambientes agrícolas complexos. Os autores enfatizam que sua abordagem reduz a dependência de hardware e os custos de desenvolvimento, eliminando a necessidade de ensaios físicos exaustivos durante a fase de aprendizado da política. Eles posicionam isso como um modelo escalável para colheita autônoma que aborda os problemas de instabilidade e singularidade comuns em sistemas baseados em IK e servocontrole visual.

Limitações
Os autores modestamente reconhecem várias limitações:

A geração de alvos 3D depende de centróides segmentados e profundidade local, em vez de pose completa 6D do fruto ou geometria do pedúnculo, o que pode limitar estratégias de desprendimento mais complexas.
O sistema carece de percepção ativa ou ajuste de ponto de vista para alvos ocluídos.
A dependência de transformações de quadro calibradas com deslocamentos empíricos pode limitar a portabilidade entre diferentes configurações de hardware ou layouts de estufa.
A política de colheita atual é sequencial e reativa, carecendo de planejamento de alto nível para copas densas.