💻 computer science

A drone that learns to efficiently find non-uniformly distributed objects in agricultural fields: from simulation to the real world

Este artículo presenta un planificador de trayectorias para drones basado en aprendizaje por refuerzo que aprovecha el conocimiento previo de baja calidad para detectar eficientemente objetos agrícolas distribuidos de manera no uniforme, logrando trayectorias de vuelo significativamente más cortas que los métodos de cobertura total tanto en simulaciones como en pruebas en el mundo real, al tiempo que demuestra una brecha de simulación a realidad manejable.

Autores originales: Rick van Essen, Eldert van Henten, Gert Kootstra

Publicado 2026-08-04

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Rick van Essen, Eldert van Henten, Gert Kootstra

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde pequeños robots zumbantes vuelan sobre nuestras granjas, actuando como exploradores superpotentes. Estos no son simples robots; son drones equipados con cámaras y cerebros, diseñados para ayudar a los agricultores a cultivar mejores cultivos. Pero hay un inconveniente: estos drones funcionan con baterías y, al igual que tu teléfono, solo pueden volar durante un tiempo determinado antes de necesitar recargarse. En el pasado, los agricultores ordenaban a estos drones volar en un patrón de cuadrícula perfecto y aburrido, como una cortadora de césped, para asegurarse de ver cada centímetro de cada pulgada del campo. Esto funciona, pero es lento y desperdicia mucha batería en puntos vacíos donde no está pasando nada interesante.

Entra en escena una nueva idea: ¿qué pasaría si el dron pudiera ser más inteligente? ¿Qué pasaría si pudiera aprender a detectar dónde se esconden las "malas hierbas" (plantas no deseadas) y dirigirse directamente a ellas, saltándose los espacios vacíos? Este es el mundo del Aprendizaje por Refuerzo (RL). Piensa en el RL como enseñar un truco a un perro. No le das un manual al perro; dejas que lo intente, y cada vez que hace algo bueno, le das un premio (una recompensa). A través de millones de intentos, el perro aprende la mejor manera de obtener la mayor cantidad de premios. En este caso, el "perro" es un programa informático, el "premio" es encontrar una mala hierba y el "truco" es volar por el camino más corto posible. La gran pregunta que los científicos se hacen es: ¿Podemos enseñar a un dron a hacer esto en un videoj juego (simulación) y que luego funcione perfectamente en el mundo real, que es caótico?

El artículo: Enseñando a un dron a cazar malas hierbas como un jugador profesional

Este artículo cuenta la historia de unos investigadores que intentaron enseñar a un dron a cazar malas hierbas en un campo sin desperdiciar ni una sola gota de batería. No se limitaron a escribir un conjunto de reglas para que el dron las siguiera; en su lugar, dejaron que un "cerebro" informático aprendiera a volar jugando un juego una y otra vez.

El campo de entrenamiento: Un mundo de videoj juego
Primero, los investigadores construyeron un videojuego superrealista. En este juego, el dron vuela sobre un campo digital lleno de malas hierbas falsas. Las malas hierbas no están dispersas al azar como arena en una playa; están agrupadas en parches, tal como suelen estar las malas hierbas reales. El dron tiene un "cerebro" (un agente de IA) que observa un mapa. Este mapa tiene dos capas: una vista alejada que muestra dónde el dron cree que podría haber malas hierbas (basada en un escaneo rápido y borroso desde lo alto) y una vista de acercamiento que muestra lo que el dron ve en ese momento.

El objetivo era sencillo: encontrar tantas malas hierbas como sea posible antes de que la batería se agote. El dron recibe puntos por encontrar malas hierbas, pero pierde puntos por cada segundo que vuela y por estrellarse. Los investigadores utilizaron un método llamado Aprendizaje por Refuerzo Profundo para entrenar al dron. Dejaron que el dron volara millones de veces en la simulación, probando diferentes rutas. A veces volaba en círculos y no obtenía puntos; otras veces zigzagueaba perfectamente y encontraba todo un parche de malas hierbas. Lentamente, el dron aprendió la mejor estrategia: "No vueles por todas partes. Vuela hacia donde las pistas indican que están las malas hierbas".

La gran prueba: Del juego a la realidad
Una vez que el dron fue un profesional en el videojuego, los investigadores tuvieron que comprobar si podía manejar el mundo real. Aquí es donde la cosa se complica. Los campos reales no son cuadrículas perfectas, el viento sopre, las cámaras se vuelven borrosas y las "pistas" (conocimiento previo) no siempre son correctas.

Para probar esto, no saltaron directamente a volar un dron real. Crearon una "escalera de la realidad" con seis niveles:

Nivel 1: Puro videoj juego (todo es falso).
Nivel 2: El juego utiliza ubicaciones reales de malas hierbas a partir de fotos, pero el resto es falso.
Nivel 3: El juego utiliza "pistas" reales sobre dónde podrían estar las malas hierbas.
Nivel 4: El juego utiliza una cámara real para "ver" las malas hierbas en las fotos.
Nivel 5: El dron utiliza pistas reales recolectadas durante un vuelo.
Nivel 6: El dron vuela realmente en el mundo real, tomando fotos en vivo y tomando decisiones sobre la marcha.

Lo que encontraron
Los resultados fueron una mezcla de "¡Guau!" y "Ups".

En el juego (Simulación): El dron entrenado fue increíble. Voló rutas un 57% más cortas que el dron tradicional de "cortar el césped". Encontró casi tantas malas hierbas (solo un 13% menos), pero lo hizo mucho más rápido, por lo que ahorró una enorme cantidad de batería.
Con fotos reales: Cuando probaron el dron con fotos reales de campos (pero sin volar todavía), seguía volando rutas un 38% más cortas que el método antiguo. Sin embargo, encontró un 21% menos de malas hierbas. Esto significa que fue más rápido, pero falló algunos objetivos.
En el mundo real (Vuelo): Cuando realmente volaron el dron en el campo, los resultados fueron un poco inestables. En una prueba, el dron encontró el 73% de las malas hierbas. En otra, solo encontró el 23%.

¿Por qué tuvo dificultades?
Los investigadores descubrieron que el principal culpable no eran las habilidades de vuelo del dron ni su capacidad para ver las malas hierbas. El problema eran las "pistas" (el mapa de conocimiento previo).
Imagina que estás jugando al escondite y alguien te da un mapa que dice: "El que se esconde está en la casa roja". Si el mapa está mal y el que se esconde está en realidad en la casa azul, perderás tiempo buscando en la casa roja. En los vuelos del mundo real, el "mapa" que crearon a partir de un escaneo desde gran altura era tan deficiente (se le pasaba casi todas las malas hierbas) que el dron se confundía. No sabía dónde mirar, así que volaba sin rumbo o se rendía demasiado pronto.

El artículo también señaló que, a veces, el dron se quedaba atrapado en un bucle, volando de un lado a otro entre dos puntos como un hámster en una rueda, porque no sabía cuándo detenerse y aterrizar.

La conclusión
Este artículo demuestra que enseñar a un dron a ser inteligente y eficiente es posible, pero aún no es perfecto. La IA aprendió a volar rutas mucho más cortas que los métodos antiguos, lo cual es genial para ahorrar batería. Sin embargo, para que esto funcione en la vida real, las "pistas" que le damos deben ser mucho mejores. Si el mapa es malo, incluso el dron más inteligente del mundo se perderá.

Los investigadores concluyen que, aunque este enfoque no está listo para reemplazar a todos los drones agrícolas mañana, es un gran paso adelante. Para tareas como encontrar malas hierbas o detectar plantas enfermas —donde no necesitas encontrar absolutamente todas, sino la mayoría de ellas rápidamente—, este dron inteligente y capaz de aprender podría ahorrar a los agricultores mucho tiempo y dinero. Pero primero, necesitan arreglar el sistema de "pistas" para que el dron no se confunda con mapas defectuosos.

Resumen Técnico: Un Dron de RL Entrenado en Simulación para la Búsqueda Eficiente de Objetos en la Agricultura

Planteamiento del Problema

Los vehículos aéreos no tripulados (drones) ofrecen un potencial significativo para la agricultura de precisión, permitiendo tareas como la detección temprana de enfermedades, la localización de malezas y la evaluación del suelo. Sin embargo, su eficiencia operativa está severamente limitada por la capacidad limitada de la batería, lo que restringe el área cubrible en un solo vuelo. Los enfoques tradicionales dependen de planificadores de cobertura total que mapean campos enteros con una distribución espacial uniforme. Esto es a menudo subóptimo para tareas agrícolas donde los objetos objetivo (por ejemplo, especies específicas de maleza o parches de enfermedades) están distribuidos de forma no uniforme en cúmulos espaciales en lugar de estar dispersos aleatoriamente. En tales escenarios, la cobertura exhaustiva es innecesaria; el objetivo es detectar la mayoría de los objetos con una trayectoria de vuelo mínima. Aunque existen planificadores de rutas adaptativos, los métodos basados en reglas a menudo requieren un rediseño explícito para nuevos entornos y tienen dificultades con la incertidumbre. Este artículo aborda el desafío de desarrollar un planificador de rutas adaptativo basado en aprendizaje que pueda navegar eficientemente objetos distribuidos de forma no uniforme, equilibrando la recuperación de detección con la longitud de la trayectoria de vuelo, y transfiriendo con éxito de la simulación al despliegue en el mundo real.

Metodología

Marco de Aprendizaje por Refuerzo

El núcleo del enfoque es un agente de Red Q Profunda (DQN) entrenado para maximizar las recompensas a largo plazo mediante la toma de decisiones secuenciales en un Proceso de Decisión de Markov (MDP).

Espacio de Estados: El agente observa un mapa global centrado en el dron (baja resolución, cubre todo el campo) y un mapa local (alta resolución, correspondiente al campo de visión de la cámara). Estos mapas incluyen capas para los bordes del campo, objetos encontrados previamente, un mapa de cobertura (para desalentar la revisión de áreas) y un mapa de conocimiento previo (derivado de levantamientos de gran altitud). El estado también incluye el nivel actual de batería del dron.
Espacio de Acciones: El agente selecciona entre ocho acciones direccionales (Norte, Sur, Este, Oeste y cuatro diagonales) y una acción de "aterrizar" para terminar la búsqueda. Cada acción mueve al dron un número fijo de celdas de la cuadrícula.
Función de Recompensa: El agente recibe recompensas positivas por detectar correctamente objetos y penalizaciones negativas por pasos de vuelo, entrar en zonas de exclusión aérea, colisionar (agotamiento de batería) y volver a visitar celdas de la cuadrícula ya exploradas.

Simulación y Aleatorización de Dominios

El entrenamiento ocurre en un entorno de simulación abstracto diseñado para cerrar la brecha sim-to-real mediante la aleatorización de dominios:

Entorno: Los campos se generan como polígonos convexos o cóncavos aleatorios. Las distribuciones de objetos se modelan como cúmulos que siguen distribuciones Gaussianas multivariantes, con variaciones en el número de cúmulos y objetos.
Modelado de Ruido: La simulación incorpora errores de detección realistas (falsos positivos y falsos negativos) tanto para el mapa de observación (cámara simulada) como para el mapa de conocimiento previo.
Entrenamiento: El agente es entrenado utilizando experiencia de repetición (experience replay) y un factor de descuento de 0.99 sobre $2 \times 10^7$ pasos. La arquitectura de la red procesa los mapas globales y locales a través de capas convolucionales paralelas, los concatena con el estado de la batería y genera valores de acción a través de capas totalmente conectadas.

Pipeline de Aplicación en el Mundo Real

Para desplegar la política entrenada en simulación:

Detección de Objetos: Una red YOLOv11-m detecta objetos en imágenes de drones en tiempo real.
Conversión de Coordenadas: Las coordenadas UTM del mundo real se transforman en el sistema de cuadrícula de la simulación, teniendo en cuenta la rotación y escala del campo.
Generación de Conocimiento Previo: Un vuelo de gran altitud, de cobertura total (sin solapamiento), genera un mapa de conocimiento previo binario. Este mapa es intencionalmente ruidoso, priorizando la recuperación sobre la precisión para asegurar que no se pierda ningún objetivo potencial.
Ejecución: Las acciones del agente de RL se convierten en coordenadas GPS y se ejecutan mediante una aplicación MAVLink personalizada en un dron DJI M350.

Estrategia de Evaluación: Seis Niveles de Realismo

El artículo introduce un marco de evaluación sistemático utilizando seis niveles de realismo para cuantificar la contribución de cada componente a la brecha sim-to-real:

Nivel 1: Simulación pura (todos los componentes simulados).
Nivel 2: Posiciones de objetos reales (de ortomosaicos) en un entorno simulado.
Nivel 3: Posiciones de objetos reales + Conocimiento previo real (generado de ortomosaicos).
Nivel 4: Posiciones de objetos reales + Conocimiento previo real + Observaciones reales (YOLOv11 aplicado a cultivos de ortomosaicos).
Nivel 5: Posiciones de objetos reales + Conocimiento previo real (recolectado durante el vuelo) + Observaciones reales (de ortomosaicos).
Nivel 6: Despliegue completo en el mundo real (vuelo en vivo con controlador real y transmisión de cámara en vivo).

Contribuciones Clave

Simulador Mejorado: Extensión del simulador original para incluir campos de formas aleatorias más grandes y un conjunto expandido de acciones de vuelo diagonales.
Aleatorización de Dominios: Entrenamiento en una diversidad de distribuciones de objetos, conteos de cúmulos y formas de campos para mejorar la generalización.
Conocimiento Previo del Mundo Real: Integración de conocimiento previo derivado de vuelos de gran altitud en el mundo real.
Análisis Sistemático de la Brecha: Evaluación a través de seis niveles de realismo utilizando 28 repeticiones basadas en ortomosaicos y dos ensayos de vuelo en el mundo real para aislar fuentes específicas de degradación del rendimiento.
Despliegue en el Mundo Real: Demostración del agente de RL controlando directamente un dron DJI M350 para decisiones de navegación.
Código Abierto: Lanzamiento público de código, datos y pipelines de evaluación.

Resultados

Rendimiento de Simulación a Realidad

Compromiso entre Eficiencia y Recuperación: En la simulación pura (Nivel 1), el agente de RL logró una trayectoria de vuelo un 57% más corta en comparación con un planificador de cobertura total, con una recuperación un 13% menor (0.85 vs. 0.98).
Ortomosaicos del Mundo Real (Nivel 4): En datos de ortomosaicos del mundo real, el agente de RL logró una trayectoria de vuelo un 38% más corta con una recuperación un 21% menor (0.77 vs. 0.98) en comparación con la cobertura total.
Generalización: El agente se generalizó bien a las distribuciones de objetos del mundo real (la caída del Nivel 1 al 2 fue de solo ~2%). La transición a redes de detección reales (Nivel 3 a 4) causó una caída de recuperación del 6%, lo que indica que la simulación de los errores de detección fue razonablemente precisa.

Ensayos de Vuelo en el Mundo Real

Se realizaron dos vuelos en el mundo real (Nivel la 6):

Ensayo 1: El agente encontró el 73% de las malezas en 91 pasos.
Ensayo 2: El agente encontró solo el 23% de las malezas en 93 pasos.
Análisis de Causa Raíz: El mal desempeño en el Ensayo 2 (y la caída en el Ensayo 1 en comparación con las evaluaciones de ortomosaicos) se atribuyó principalmente a un conocimiento previo de baja calidad. En el Ensayo 2, la recuperación del conocimiento previo cayó al 0%, proporcionando efectivamente ninguna guía al agente. En el Ensayo 1, la recuperación del conocimiento previo fue solo del 5%. El estudio señala que, si bien el conocimiento previo no necesita ser perfecto, una recuperación del 0% conduce a una degradación significativa del rendimiento.

Ineficiencias en la Trayectoria de Vuelo

El agente exhibió comportamiento de bucle (volando repetidamente de un punto a otro) y a veces continuó volando después de haber encontrado la mayoría de los objetivos. Esto sugiere que la penalización de recompensa por revisar áreas ( $r_{nocov}$ ) fue insuficiente para desalentar completamente tal comportamiento en escenarios complejos del mundo real.

Significado y Reivindicaciones

El artículo sostiene que el planificación de rutas adaptativa basada en aprendizaje puede mejorar significamente la eficiencia de la recolección de datos en la agricultura de precisión cuando no se requiere una cobertura exhaustiva. Al intercambiar una reducción moderada en la recuperación por una reducción sustancial en el tiempo de vuelo (trayectorias un 38% más cortas), este enfoque ofrece una alternativa viable a los planificadores de cobertura total para tareas como la detección de malezas y enfermedades, donde los objetivos están agrupados.

Los autores enfatizan que la brecha sim-to-real es manejable pero sensible a componentes específicos:

Distribución de Objetos: El agente se generaliza bien a los patrones espaciales reales.
Redes de Detección: Los errores simulados preparan eficazmente al agente para el ruido de detección del mundo real.
Conocimiento Previo: Este es el factor más crítico. El estudio destaca que el conocimiento previo inexacto o ausente es la fuente dominante de fallo en el despliegue en el mundo real, más que la calidad del controlador de vuelo o la transmisión de la cámara en vivo.

El artículo concluye que, si bien el enfoque es prometedor para el despliegue práctico, son necesarias mejoras adicionales en la calidad del conocimiento previo (por ejemplo, reutilizando datos de vuelos anteriores) y en la eficiencia de la trayectoria de vuelo (por ejemplo, rutas híbridas o estrategias jerárquicas) antes de su adopción generalizada. El trabajo sirve como una prueba de concepto de que las políticas de RL entrenadas en simulación pueden transferirse a drones reales para tareas de búsqueda adaptativa.