LoRA-Based Diffusion Data Augmentation for Underwater Garbage Detection: An Empirical Study with YOLOv8s

O fundo do oceano é um lugar onde a luz luta para chegar e onde a própria água atua como uma cortina espessa e nebulosa. Nestas profundezas escuras e turvas, as garrafas plásticas, as redes de pesca e os pneus descartados que os humanos perderam não repousam claramente contra a areia. Eles são frequentemente distorcidos pela forma como a água desvia a luz, obscurecidos por partículas flutuantes ou escondidos em sombras. Para cientistas que tentam limpar os oceanos, essa confusão visual é um grande obstáculo. Para encontrar e contar esse lixo subaquático, eles dependem de câmeras e computadores, mas os computadores precisam ser treinados em milhares de exemplos claros para aprender o que estão procurando. O problema é que tirar fotos subaquáticas claras é incrivelmente difícil. O ambiente é difícil de acessar, o equipamento é caro e as imagens que existem são frequentemente muito borradas ou escuras para serem úteis para ensinar um computador.

Para resolver essa escassez de bons dados de treinamento, pesquisadores recorreram a um novo tipo de ferramenta: inteligência artificial que pode imaginar e criar imagens. Essas ferramentas, conhecidas como modelos generativos, podem produzir imagens que parecem fotografias sem que uma câmera jamais tenha sido usada. No entanto, simplesmente pedir a um computador para "desenhar um saco plástico debaixo d'água" geralmente resulta em uma imagem que não se parece em nada com a coisa real. O objeto gerado pode ter a forma errada, a cor errada ou aparecer em um lugar onde não deveria estar. Se um computador aprender com essas imagens falsas, ele pode se confundir e falhar ao detectar o lixo real mais tarde. O desafio, então, não é apenas fazer mais imagens, mas fazer imagens que sejam tão convincentes e precisas que um computador possa aprender com elas como se fossem reais.

Uma equipe de pesquisadores partiu para testar se essa abordagem poderia realmente funcionar para limpar o oceano. Eles se concentraram em um tipo específico de sistema de inteligência artificial capaz de gerar imagens, combinado com um método para ensinar esse sistema exatamente como diferentes tipos de lixo subaquático se parecem. Eles não tentaram substituir totalmente a necessidade de fotos reais; em vez disso, queriam ver se adicionar um pequeno número de imagens falsas cuidadosamente elaboradas a um conjunto limitado de imagens reais poderia ajudar um detector de computador a se tornar mais inteligente. Eles escolheram estudar cinco tipos específicos de detritos comuns: sacos plásticos, luvas, máscaras faciais, redes de pesca e latas. Esses itens são notoriamente difíceis de detectar porque são frequentemente transparentes, amassados ou se misturam com o leito marinho.

Os pesquisadores começaram com uma coleção de fotos subaquáticas reais que já haviam sido rotuladas por humanos. Para garantir que seu teste fosse justo e seus resultados confiáveis, eles separaram cuidadosamente essas fotos reais em três grupos antes de iniciarem qualquer geração por computador. Um grupo foi usado para ensinar o sistema de criação de imagens como o lixo deveria parecer. Outro grupo foi usado para treinar o detector do computador. O terceiro grupo, que nunca foi mostrado ao criador de imagens ou ao detector durante a fase de aprendizado, foi guardado estritamente para o teste final. Essa separação rigorosa impediu que o computador utilizasse as respostas do teste durante a fase de aprendizado.

Para tornar as imagens falsas úteis, a equipe usou duas técnicas especiais. Primeiro, ensinaram o gerador de imagens a prestar atenção aos detalhes específicos de cada tipo de lixo. Mostraram ao sistema algumas dezenas de exemplos reais de um saco plástico, uma luva ou uma rede, e deixaram o sistema aprender a maneira única como esses itens parecem debaixo d'água — suas dobras, sua transparência e como a luz azul-esverdeada das profundezas do mar afeta sua cor. Segundo, deram ao sistema um mapa simples para seguir. Antes de gerar uma imagem, os pesquisadores desenharam uma caixa em uma tela em branco onde queriam que o lixo aparecesse. O sistema foi então forçado a colocar o objeto gerado exatamente dentro dessa caixa. Isso garantiu que as imagens falsas correspondessem aos rótulos que o detector do computador esperava ver, evitando confusão sobre onde o objeto realmente estava.

A equipe criou centenas de imagens sintéticas, mas foi muito seletiva sobre quais delas usaria. Eles verificaram manualmente as imagens geradas, descartando quaisquer que parecessem estranhas demais, tivessem formas quebradas ou não correspondessem ao rótulo. Apenas as melhores imagens foram adicionadas ao conjunto de treinamento para o detector do computador; especificamente, apenas 50 imagens sintéticas adicionais foram incluídas para cada configuração experimental. Eles então realizaram três experimentos diferentes para ver o que acontecia. No primeiro, o detector foi treinado apenas com fotos reais. No segundo, adicionaram imagens falsas que foram geradas sem nenhum treinamento especial nos tipos específicos de lixo. No terceiro, adicionaram as imagens falsas que foram cuidadosamente ajustadas para parecerem os itens de lixo específicos.

Os resultados mostraram que simplesmente adicionar mais imagens falsas não era suficiente. Quando o detector foi treinado com as imagens falsas não ajustadas, seu desempenho na verdade piorou ligeiramente. Ele tornou-se menos preciso ao encontrar o lixo e detectou mais itens do que antes. Isso sugeriu que, se as imagens falsas parecessem muito diferentes da realidade, elas apenas serviriam para confundir o computador. No entanto, quando o detector foi treinado com as imagens cuidadosamente ajustadas, os resultados melhoraram. O computador tornou-se melhor em identificar o lixo, encontrando mais dele e localizando-o com maior precisão. A precisão do detector subiu de cerca de 83 por cento para 85 por cento, e sua capacidade de encontrar os itens corretos também melhorou.

O estudo também revelou que essa melhoria não aconteceu igualmente para todos os tipos de lixo. O computador tornou-se significativamente melhor em detectar luvas, latas e redes de pesca quando aprendeu com as imagens falsas ajustadas. No entanto, para máscaras faciais e sacos plásticos, a melhoria foi muito menor e, em alguns casos, o desempenho não mudou de forma alguma. Isso sugere que o método funciona melhor para objetos que possuem uma forma e textura claras, mas tem dificuldades com itens que são muito finos, transparentes ou facilmente deformáveis. Os pesquisadores concluíram que, embora essas imagens geradas por IA possam ajudar, elas não são um substituto perfeito para dados reais. Elas são um suplemento útil que pode aumentar o desempenho quando as fotos reais são escassas, mas devem ser criadas com grande cuidado e sua qualidade deve ser verificada.

Em última análise, o trabalho demonstra que podemos usar a inteligência artificial para ajudar a resolver o problema da poluição oceânica, mas a tecnologia deve ser guiada pelo entendimento humano. O computador não pode apenas ser instruído a "fazer mais imagens"; ele deve ser ensinado a linguagem visual específica do mundo subaquático. Ao combinar dados reais com imagens sintéticas de alta qualidade e cuidadosamente controladas, os pesquisadores podem construir ferramentas melhores para monitorar e proteger o fundo do oceano. O estudo confirma que essa abordagem é um passo promissor à frente, oferecendo uma maneira de aproveitar ao máximo os recursos limitados enquanto reconhece que a complexidade do ambiente subaquático ainda exige um manuseio cuidadoso.