LoRA-Based Diffusion Data Augmentation for Underwater Garbage Detection: An Empirical Study with YOLOv8s

해저는 빛이 도달하기 위해 사투를 벌여야 하는 곳이며, 물 자체가 두껍고 흐릿한 커튼처럼 작용하는 곳입니다. 이 어둡고 탁한 심해에서 인간이 잃어버린 플라스틱 병, 그물, 버려진 타이어들은 모래 위에 선명하게 놓여 있지 않습니다. 그것들은 빛을 굴절시키는 방식이나 떠다니는 입자들에 의해 가려지거나, 그림자 속에 숨겨져 왜곡되곤 합니다. 해양을 청소하려는 과학자들에게 이러한 시각적 혼란은 주요한 장애물입니다. 이 수중 쓰레기를 찾아내고 그 수를 세기 위해 그들은 카메라와 컴퓨터에 의존하지만, 컴퓨터가 무엇을 찾고 있는지 배우기 위해서는 수천 개의 선명한 사례를 학습해야 합니다. 문제는 선명한 수중 사진을 찍는 것이 매우 어렵다는 점입니다. 환경은 접근하기 어렵고, 장비는 비싸며, 존재하는 이미지들조차 컴퓨터를 가르치는 데 유용하기에는 너무 흐릿하거나 어두운 경우가 많습니다.

이러한 양질의 학습 데이터 부족을 해결하기 위해, 연구자들은 이미지를 상상하고 만들어낼 수 있는 새로운 종류의 도구, 즉 인공지능으로 눈을 돌렸습니다. 생성 모델이라고 알려진 이 도구들은 카메라를 전혀 사용하지 않고도 사진처럼 보이는 이미지를 만들어낼 수 있습니다. 하지만 단순히 컴퓨터에게 "수중의 플라스틱 봉투를 그려라"라고 요청하는 것은 실제 모습과 전혀 다른 결과물을 초래할 수 있습니다. 생성된 물체는 모양이 틀리거나, 색상이 잘못되었거나, 있어서는 안 될 곳에 나타날 수 있습니다. 만약 컴퓨터가 이러한 가짜 이미지로부터 학습한다면, 나중에 실제 쓰레기를 식별하는 데 혼란을 겪거나 실패할 수 있습니다. 따라서 과제는 단순히 더 많은 사진을 만드는 것이 아니라, 컴퓨터가 실제 사진인 것처럼 학습할 수 있을 만큼 설득력 있고 정확한 사진을 만드는 것입니다.

한 연구팀은 이 접근 방식이 실제로 해양 정화에 효과가 있는지 테스트하기 위해 연구를 시작했습니다. 그들은 이미지를 생성할 수 있는 특정 유형의 인공지능 시스템과, 해당 시스템에 다양한 종류의 수중 쓰레기가 어떻게 생겼는지 정확히 가르치는 방법을 결합하는 데 집중했습니다. 그들은 실물 사진을 완전히 대체하려 한 것이 아니라, 정교하게 제작된 소수의 가짜 이미지를 제한된 양의 실제 이미지에 추가함으로써 컴퓨터 탐지기가 더 똑똑해질 수 있는지 확인하고자 했습니다. 그들은 흔히 볼 수 있는 다섯 가지 특정 유형의 부유물, 즉 플라스틱 봉투, 장갑, 마스크, 그물, 그리고 캔을 연구 대상으로 선정했습니다. 이 품목들은 투명하거나, 구겨져 있거나, 해저와 잘 어우러지는 경우가 많아 발견하기 까다로운 것들입니다.

연구진은 이미 인간에 의해 라벨링된 실제 수중 사진 모음으로 시작했습니다. 테스트의 공정성과 결과의 신뢰성을 보장하기 위해, 그들은 컴퓨터 생성을 시작하기 전 이 실제 사진들을 세 그룹으로 신중하게 나누었습니다. 한 그룹은 이미지 생성 시스템에 쓰레기가 어떻게 생겼는지 가르치는 데 사용되었습니다. 다른 한 그룹은 컴퓨터 탐지기를 훈련시키는 데 사용되었습니다. 마지막 그룹은 학습 단계 동안 이미지 생성기나 탐지기에게 절대 보여주지 않고 엄격하게 보관되어 최종 테스트를 위해서만 남겨두었습니다. 이러한 엄격한 분리는 컴퓨터가 학습 단계에서 정답을 미리 사용하는 것을 방지했습니다.

가짜 이미지를 유용하게 만들기 위해 팀은 두 가지 특별한 기술을 사용했습니다. 첫째, 이미지 생성기가 각 쓰레기 유형의 구체적인 세부 사항에 주의를 기울이도록 가르쳤습니다. 그들은 시스템에 플라스틱 봉투, 장갑 또는 그물의 실제 사례를 수십 개씩 보여주며, 이 물건들이 수중에서 보이는 독특한 방식—그 주름, 투명도, 그리고 심해의 청록색 빛이 색상에 미치는 영향—을 학습하게 했습니다. 둘 thứ, 시스템에 따라야 할 간단한 지도를 제공했습니다. 이미지를 생성하기 전, 연구진은 빈 캔버스 위에 쓰레기가 나타나길 원하는 위치에 상자를 그렸습니다. 그 후 시스템은 생성된 물체를 반드시 그 상자 안에 배치하도록 강제되었습니다. 이는 가짜 이미지가 컴퓨터 탐지기가 기대하는 라벨과 일사의 위치가 일치하도록 하여, 물체가 실제로 어디에 있는지에 대한 혼란을 방지하기 위함이었습니다.

팀은 수백 개의 합성 이미지를 만들었지만, 매우 선택적으로 사용했습니다. 그들은 생성된 사진들을 수동으로 검사하여, 너무 이상해 보이거나 형태가 깨졌거나 라벨과 일치하지 않는 것들을 폐기했습니다. 오직 가장 우수한 이미지만이 컴퓨터 탐지기의 훈련 세트에 추가되었는데, 구체적으로 각 실험 설정마다 단 50개의 추가 합성 이미지만이 포함되었습니다. 그런 다음 그들은 세 가지 서로 다른 실험을 실행하여 어떤 일이 일어나는지 관찰했습니다. 첫 번째 실험에서는 탐지기를 실제 사진으로만 훈련시켰습니다. 두 번째에서는 특정 쓰레기 유형에 대한 특별한 훈련 없이 생성된 가짜 이미지를 추가했습니다. 세 번째에서는 정교하게 조정된 가-짜 이미지를 추가했습니다.

결과는 단순히 더 많은 가짜 사진을 추가하는 것만으로는 충분하지 않다는 것을 보여주었습니다. 조정되지 않은 가짜 이미지로 탐지기를 훈련시켰을 때, 성능은 오히려 약간 저하되었습니다. 쓰레기를 찾는 정확도가 떨어졌고 이전보다 더 많은 항목을 놓치게 되었습니다. 이는 만약 가짜 이미지가 실제와 너무 다르게 보인다면, 그것이 컴퓨터를 혼란스럽게 하는 데 기여한다는 것을 시사합니다. 그러나 정교하게 조정된 이미지로 탐지기를 훈련시켰을 때는 결과가 개선되었습니다. 컴퓨터는 쓰레기를 식별하는 능력이 향상되었고, 더 많이 찾아냈으며, 더 정확하게 위치를 파악했습니다. 탐지기의 정확도는 약 83퍼센트에서 85퍼센트로 상승했으며, 올바른 항목을 찾는 능력 또한 개선되었습니다.

이 연구는 또한 이러한 개선이 모든 유형의 쓰레기에 대해 동일하게 나타나지는 않는다는 점을 밝혀냈습니다. 컴퓨터는 튜닝된 가짜 이미지를 통해 학습했을 때 장갑, 캔, 그물을 훨씬 더 잘 찾아냈습니다. 그러나 마스크와 플라스틱 봉투의 경우, 개선 폭이 훨씬 작았으며 어떤 경우에는 성능 변화가 전혀 없었습니다. 이는 이 방법이 명확한 형태와 질감을 가진 물체에는 가장 잘 작동하지만, 매우 얇거나 투명하거나 쉽게 변형되는 품목에는 어려움을 겪는다는 것을 시사합니다. 연구진은 AI 생성 이미지가 도움이 될 수는 있지만, 실제 데이터를 완벽하게 대체할 수는 없다고 결론지었습니다. 그것은 실제 사진이 부족할 때 성능을 높여줄 수 있는 유용한 보충제이지만, 매우 세심하게 제작되고 품질이 검증되어야 합니다.

궁극적으로, 이 연구는 우리가 인공지능을 사용하여 해양 오염 문제를 해결하는 데 도움을 줄 수 있지만, 기술은 반드시 인간의 이해에 의해 인도되어야 함을 보여줍니다. 컴퓨터에게 단순히 "더 많은 사진을 만들어라"라고 말해서는 안 됩니다. 컴퓨터는 수중 세계의 특정한 시각적 언어를 배워야 합니다. 실제 데이터와 고품질의 정교하게 제어된 합성 이미지를 결합함으로써, 연구자들은 해저를 모니터링하고 보호하기 위한 더 나은 도구를 구축할 수 있습니다. 이 연구는 이러한 접근 방식이 유망한 진전임을 확인시켜 주며, 수중 환경의 복잡성은 여전히 세심한 처리가 필요하다는 점을 인정하면서도 제한된 자원을 최대한 활용할 수 있는 방법을 제시합니다.