LoRA-Based Diffusion Data Augmentation for Underwater Garbage Detection: An Empirical Study with YOLOv8s

El fondo del océano es un lugar donde la luz lucha por llegar y donde el agua misma actúa como una cortina espesa y brumosa. En estas profundidades tenues y turbias, las botellas de plástico, las redes de pesca y los neumáticos desechados que los humanos han perdido no se asientan claramente contra la arena. A menudo están distorsionados por la forma en que el agua desvía la luz, oscurecidos por partículas flotantes o escondidos en las sombras. Para los científicos que intentan limpiar los océanos, esta confusión visual es un obstáculo importante. Para encontrar y contar esta basura submarina, dependen de cámaras y computadoras, pero las computadoras necesitan ser entrenadas con miles de ejemplos claros para aprender qué es lo que están buscando. El problema es que las fotos submarinas claras son increíblemente difíciles de tomar. El entorno es difícil de acceder, el equipo es costoso y las imágenes que existen suelen ser demasiado borrosas o oscuras para ser útiles para enseñar a una computadora.

Para resolver esta escasez de buenos datos de entrenamiento, los investigadores han recurrido a un nuevo tipo de herramienta: la inteligencia artificial que puede imaginar y crear imágenes. Estas herramientas, conocidas como modelos generativos, pueden producir imágenes que parecen fotografías sin que se haya utilizado una cámara. Sin embargo, simplemente pedirle a una computadora que "dibuje una bolsa de plástico bajo el agua" a menudo resulta en una imagen que no se parece en nada a la realidad. El objeto generado puede tener la forma incorrecta, el color incorrecto o aparecer en un lugar donde no pertenece. Si una computadora aprende de estas imágenes falsas, podría confundirse y fallar al detectar la basura real más adelante. El desafío, entonces, no es solo hacer más imágenes, sino hacer imágenes que sean tan convincentes y precisas que una computadora pueda aprender de ellas como si fueran reales.

Un equipo de investigadores se propuso probar si este enfoque realmente podría funcionar para limpiar el océano. Se centraron en un tipo específico de sistema de inteligencia artificial capaz de generar imágenes, combinado con un método para enseñar a ese sistema exactamente cómo se ve cada tipo de basura submarina. No intentaron reemplazar la necesidad de fotos reales por completo; en cambio, querían ver si añadir un pequeño número de imágenes falsas cuidadosamente elaboradas a un conjunto limitado de imágenes reales podía ayudar a que un detector por computadora se volviera más inteligente. Eligieron estudiar cinco tipos específicos de desechos comunes: bolsas de plástico, guantes, mascarillas, redes de pesca y latas. Estos artículos son notoriamente difíciles de detectar porque a menudo son transparentes, están arrugados o se mezclan con el lecho marino.

Los investigadores comenzaron con una colección de fotos submarinas reales que ya habían sido etiquetadas por humanos. Para asegurar que su prueba fuera justa y sus resultados confiables, separaron cuidadosamente estas fotos reales en tres grupos antes de comenzar cualquier generación por computadora. Un grupo se utilizó para enseñar al sistema de creación de imágenes cómo debería verse la basura. Otro grupo se utilizó para entrenar al detector por computadora. El tercer grupo, que nunca fue mostrado al creador de imágenes ni al detector durante la fase de aprendizaje, se guardó estrictamente para la prueba final. Esta separación estricta evitó que la computadora utilizara las respuestas de la prueba durante la fase de aprendizaje.

Para que las imágenes falsas fueran útiles, el equipo utilizó dos técnicas especiales. Primero, enseñaron al generador de imágenes a prestar mucha atención a los detalles específicos de cada tipo de basura. Le mostraron al sistema unas pocas docenas de ejemplos reales de una bolsa de plástico, un guante o una red, y dejaron que el sistema aprendiera la apariencia única de estos artículos bajo el agua: sus pliegues, su transparencia y cómo la luz azul-verdosa del mar profundo afecta su color. Segundo, le dieron al sistema un mapa simple para seguir. Antes de generar una imagen, los investigadores dibujaron un cuadro en un lienzo en blanco donde querían que apareciera la basura. El sistema fue obligado entonces a colocar el objeto generado exactamente dentro de ese cuadro. Esto aseguró que las imágenes falsas coincidieran con las etiquetas que el detector por computadora esperaba ver, evitando la confusión sobre dónde se encontraba realmente el objeto.

El equipo creó cientos de imágenes sintéticas, pero fueron muy selectivos con las que utilizaron. Revisaron manualmente las imágenes generadas, descartando aquellas que parecieran demasiado extrañas, tuvieran formas rotas o no coincidieran con la etiqueta. Solo las mejores imágenes se añadieron al conjunto de entrenamiento para el detector por computadora; específicamente, se incluyeron solo 50 imágenes sintéticas adicionales para cada configuración experimental. Luego realizaron tres experimentos diferentes para ver qué sucedía. En el primero, el detector fue entrenado solo con fotos reales. En el segundo, añadieron imágenes falsas que fueron generadas sin un entrenamiento especial sobre los tipos específicos de basura. En el tercero, añadieron las imágenes falsas que habían sido cuidadosamente ajustadas para parecerse a los artículos de basura específicos.

Los resultados mostraron que simplemente añadir más imágenes falsas no era suficiente. Cuando el detector fue entrenado con las imágenes falsas no ajustadas, su rendimiento en realidad empeoró ligeramente. Se volvió menos preciso al encontrar basura y detectaba menos artículos que antes. Esto sugirió que, si las imágenes falsas se veían demasiado diferentes de la realidad, solo servían para confundir a la computadora. Sin embargo, cuando el detector fue entrenado con las imágenes cuidadosamente ajustadas, los resultados mejoraron. La computadora se volvió mejor identificando la basura, encontrando más de ella y localizándola con mayor precisión. La precisión del detector aumentó de aproximadamente un 83 por ciento a un 85 por ciento, y su capacidad para encontrar los artículos correctos también mejoró.

El estudio también reveló que esta mejora no ocurrió por igual para cada tipo de basura. La computadora se volvió significativamente mejor detectando guantes, latas y redes de pesca cuando aprendió de las imágenes falsas ajustadas. Sin embargo, para las mascarillas y las bolsas de plástico, la mejora fue mucho menor y, en algunos casos, el rendimiento no cambió en absoluto. Esto sugiere que el método funciona mejor para objetos que tienen una forma y textura claras, pero tiene dificultades con artículos que son muy delgados, transparentes o que se deforman fácilmente. Los investigadores concluyeron que, si bien estas imágenes generadas por IA pueden ayudar, no son un sustituto perfecto de los datos reales. Son un complemento útil que puede potenciar el rendimiento cuando las fotos reales escasean, pero deben crearse con gran cuidado y controlarse su calidad.

En última instancia, el trabajo demuestra que podemos usar la inteligencia artificial para ayudar a resolver el problema de la contaminación oceánica, pero la tecnología debe estar guiada por la comprensión humana. No se le puede decir simplemente a la computadora "haz más imágenes"; se le debe enseñar el lenguaje visual específico del mundo submarino. Al combinar datos reales con imágenes sintéticas de alta calidad y cuidadosamente controladas, los investigadores pueden construir mejores herramientas para monitorear y proteger el fondo del océano. El estudio confirma que este enfoque es un paso prometedor, ofreciendo una forma de aprovechar al máximo los recursos limitados mientras se reconoce que la complejidad del entorno submarino aún requiere un manejo cuidadoso.