💻 computer science

Text-conditioned Segmentation for Tomato Phenotyping via Procedural Synthetic Data

이 논문은 복잡한 실제 환경에서의 토마토 표현형 분석을 위해 SAM 3(Segment Anything Model 3)의 텍스트 조건부 세그멘테이션 성능을 크게 향상시키고자, 토마토 온실의 대규모 절차적 합성 데이터셋을 생성하는 sim-to-real 프레임워크를 제시한다.

원저자: Samy Mounir, Mikolaj Cieslak, Najmeddine Dhieb, Hakim Ghazzai, Jonathan Klein, Katja Froehlich, Soeren Pirk, Wojciech Palubicki, Gianluca Setti, Ahmed M. Eltawil, Dominik L. Michels

게시일 2026-07-22

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Samy Mounir, Mikolaj Cieslak, Najmeddine Dhieb, Hakim Ghazzai, Jonathan Klein, Katja Froehlich, Soeren Pirk, Wojciech Palubicki, Gianluca Setti, Ahmed M. Eltawil, Dominik L. Michels

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 정원을 이해하는 법을 가르치려 한다고 상상해 보세요. 당신은 로봇이 모든 토마토, 잎, 줄기를 찾아내어 농부들이 지치지 않고 작물을 수확할 수 있도록 돕기를 원합니다. 이것이 바로 컴퓨터가 카메라를 통해 세상을 "보는" 법을 배우는 컴퓨터 비전의 세계입니다. 하지만 까다로운 점이 있습니다. 컴퓨터를 가르치는 것은 아이에게 동물을 인식하는 법을 가르치는 것과 같습니다. 만약 아이에게 동물원에서의 사자 사진만 보여준다면, 아이는 야생에서 사자를 보았을 때 혼란스러워할 수 있습니다. 이와 유사하게, 컴퓨터는 충분한 사례를 접하지 못했기 때문에 지저다한 실제 온실 속의 식물을 인식하는 데 어려움을 겪습니다.

이를 해결하기 위해 과학자들은 **합성 데이터(synthetic data)**를 사용합니다. 이것을 비디오 게임 버전의 온실을 만드는 것이라고 생각해보세요. 게임 속에서는 수백만 개의 완벽한 토마토 사진을 만들 수 있고, 모든 픽셀을 즉각적으로 라벨링할 수 있으며, 햇빛이 너무 밝거나 잎이 시야를 가리는 문제도 걱정할 필요가 없습니다. 이것을 **절차적 생성(procedural generation)**이라고 하는데, 컴퓨터가 규칙(마치 레시피처럼)을 따라 실제처럼 보이는 독특하고 가짜인 식물을 키워내는 방식입니다.

여기서 중요한 질문이 생깁니다. 만약 로봇을 비디오 게임으로 훈련시킨다면, 그것이 실제 온실에서도 제대로 작동할까요? 이 논문은 바로 그 미스터리를 탐구합니다. 우리는 세상에 대해 많은 것을 알고 있는 강력한 사전 학습된 컴퓨터 두뇌(파운데이션 모델)를 가져와서, 우리의 가짜 비디오 게임 토마토를 이용해 가르친 뒤, 그 모델이 갑자기 실제 토마토를 찾아내는 전문가가 될 수 있는지 확인하고자 합니다. 목표는 작물을 세고 확인하는 힘든 작업을 자동화하여 농부들의 시간과 비용을 절약하는 것입니다.

비디오 게임 온실과 슈퍼 브레인

이 논문의 저자들은 상업용 방울토마토 온실의 디지털 트윈을 구축하기로 했습니다. 실제 식물의 사진 수천 장을 찍는 대신(이는 시간이 오래 걸리고 비용이 많이 듭니다), 그들은 **언리얼 엔진 5(Unreal Engine 5)**라는 강력한 비디오 게임 엔진을 사용하여 가상 세계를 만들었습니다. 이 세계 안에서 그들은 **L-시스템(L-systems)**이라는 규칙 세트를 사용하여 "디지털 식물"을 프로그래밍했습니다.

L-시스템을 비디오 게임 식물의 유전 코드라고 생각해 보세요. 컴퓨터는 모든 잎을 일일이 손으로 그리는 대신, "줄기를 키우고, 여기에 잎을 추가하고, 저기에 가지를 쳐라"와 같은 지침을 따릅니다. 저자들은 "기울이기 및 낮추기"(식물이 높게 자람에 따라 식물을 부드럽게 눕히고 낮추는 작업)나 가지치기(오래된 부분을 잘라내는 작업)와 같이 실제 농부들이 토마토를 관리하는 방식을 모방하기 위해 특별한 규칙들을 추가했습니다. 또한 자연계와 마찬가지로 어떤 두 디지털 식물도 똑같이 보이지 않도록 무작위 변형을 추가했습니다.

이 가상 온실로부터 68,000장의 대규모 합성 이미지 데이터셋을 생성했습니다. 각 이미지에는 완벽한 라벨이 붙어 있었습니다. 컴퓨터는 어떤 픽셀이 열매이고, 어떤 것이 잎이며, 어떤 것이 줄기인지 개별 열매 단위까지 정확히 알고 있었습니다. 이는 마치 실수하지 않는 선생님이 있는 것과 같았습니다.

"세그먼트 애니싱(Segment Anything)" 브레인

다음으로, 그들은 SAM 3(Segment Anything Model 3)라는 슈퍼스타 AI 모델을 데려왔습니다. SAM 3를 사진에 관한 모든 책을 읽은 매우 똑똑한 학생이라고 상상해 보세요. 이 학생은 특정 개를 본 적이 없더라도 사진 속의 개나 자동차가 어디에 있는지 즉시 가리킬 수 있습니다. 이를 **제로샷 학습(zero-shot learning)**이라고 합니다.

하지만 저자들이 이 매우 똑똑한 학생에게 밀집되고 복잡한 토마토 식물을 보라고 요청했을 때, 학생은 혼란에 빠졌습니다. 잎들이 겹쳐 있고, 열매는 숨겨져 있으며, 조명은 까다로웠습니다. 학생의 성능이 떨어진 이유는 학생이 토마토 식물의 특정 "언어"에 익숙하지 않았기 때문입니다.

실험: 가짜 데이터로 학생을 가르치기

팀은 68,000장의 가짜 토마토 이미지를 사용하여 학생에게 집중 과외를 하기로 했습니다. 그들은 모델을 가르치기 위해 세 가지 다른 방법을 시도했습니다:

전체 미세 조정(Full Fine-Tuning): 학생이 가짜 데이터를 사용하여 처음부터 모든 것을 다시 배우도록 했습니다.
LoRA (Low-Rank Adaptation): 학생이 원래 지식을 대부분 유지하면서, 뇌의 아주 작고 특정한 부분만을 배우도록 했습니다.
가중치 보간법(Weight Interpolation, WiSE-FT): 이것은 가장 영리한 기술이었습니다. 그들은 "가짜 데이터로 훈련된" 뇌와 "원래의 슈퍼 스마트한" 뇌를 혼합했습니다. 이는 최고의 결과물을 얻기 위해 새로운 레시피를 기존 레시피와 섞는 것과 같습니다. 그들은 뇌의 75%가 가짜 토마토에 대해 훈련되도록 하고, 25%는 원래의 일반적인 지식으로 남겨두도록 혼합했습니다.

결과: 가짜 훈련이 효과가 있을까?

여기서 흥한 흥미로운 결과가 나왔습니다. 가짜 이미지로 테스트했을 때는 "전체 미세 조정" 모델이 가장 뛰어난 성적을 보였습니다. 이 모델은 비디오 게임을 완벽하게 암기한 것처럼 보였습니다.

하지만 그들을 비디오 게임 밖으로 데리고 나가 실제 온실의 사진으로 테스트했을 때, 결과는 뒤집혔습니다. 가짜 데이터를 가장 많이 암기했던 모델이 실제로는 최악의 성적을 냈습니다. 그 모델은 비디오 게임의 규칙에 너무 집중한 나머지 복잡한 현실을 감당하지 못했습니다.

승자는 가중치 보간법(WiSE-FT) 모델이었습니다. 원래의 "슈퍼 스마트한" 지식을 조금 유지함으로써, 이 모델은 실제 세상에 훨씬 더 잘 적응할 수 있었습니다.

훈련되지 않은 원래 모델(Zero-shot)은 실제 이미지에서 열매를 찾는 데 **52.7%**의 점수를 받았습니다.
가장 잘 훈련된 모델(Full FT)은 이를 **65.6%**로 향상시켰습니다.
즉, 가짜 데이터로부터 학습함으로써 모델은 토마토를 찾아내는 능력이 12.9 퍼센트 포인트 향상되었습니다.

저자들은 라벨이 없는 실제 온실에서도 모델을 테스트했습니다(농부들에게 모든 픽셀을 라벨링해달라고 요청할 수 없기 때문입니다). 그들은 "신뢰도" 테스트를 사용했습니다: 모델이 자신의 답에 대해 얼마나 확신하는가? 훈련된 모델은 훨씬 더 자신감 있고 안정적이었으며, 그림자나 겹쳐진 잎 때문에 거의 혼란을 겪지 않았습니다. 반면 훈련되지 않은 모델은 열매를 통째로 놓치거나 존재하지 않는 꽃을 환각(hallucination)처럼 만들어내곤 했습니다.

핵심 요약

이 논문은 온실을 이해하기 위해 처음부터 로봇을 만들 필요가 없다는 것을 시사합니다. 대신, 이미 보는 법을 알고 있는 일반적인 "슈퍼 로봇"을 가져와서 비디오 게임을 이용해 전문적인 훈련 과정을 거치게 하면 됩니다. 핵심은 로봇이 알고 있던 것을 모두 잊게 만드는 것이 아니라, 토마토를 찾는 특정 작업에 부드럽게 유도하는 것입니다.

저자들은 또한 자신들의 작업물을 세상과 공유했습니다. 그들은 비디오 게임 온실, 68,000장의 가짜 이미지, 그리고 훈련된 로봇 뇌를 공개했습니다. 이는 다른 과학자들이 처음부터 다시 시작할 필요 없이 더 나은 농업 로봇을 구축하는 데 이 도구들을 사용할 수 있음을 의미합니다.

요약하자면, 이 논문은 약간의 비디오 게임 연습과 많은 실전 지식을 결합하면 컴퓨터가 마침내 토마토 식물의 복잡하고 무질서한 아름다움을 볼 수 있게 된다는 것을 보여줍니다. 이는 로봇이 언젠가 우리의 식량을 수확하는 데 도움을 주어 농부들의 고된 노동을 덜어줄 미래를 향한 한 걸음입니다.

문제 정의

비전 기반 자동화는 온실 작물 생산 및 표현형 분석(phenotyping)에서 수작업 노동을 줄이는 데 상당한 가능성을 보유하고 있습니다. 그러나 이러한 시스템의 배포는 복잡한 농업 환경, 특히 겹쳐진 잎사귀, 가려진 열매 군집, 특정 작물 분류 체계와 같은 환경에서 발생하는 대규모 주석(annotation) 데이터의 부족으로 인해 제약을 받습니다. 최근의 비전 파운데이션 모델(VFM)인 SAM 3와 같은 모델들이 강력한 제로샷 일반화 능력을 보여줌에도 불구하고, 밀집된 농업 현장에서의 성능은 저하됩니다. 또한, 기존의 합성 데이터셋은 정적인 3D 자산이나 단순화된 환경에 의존하는 경우가 많아, 상업적 온실의 연속적인 성장 역학 및 집중적인 관리 관행(예: 가지치기, 덩굴 낮추기)을 포착하지 못합니다. 결과적으로, 견고한 인지 시스템을 훈련하기에 적합한 고충실도 가상 환경이 부족하며, 일반화 능력을 희생하지 않으면서 틈새 농업 데이터에 대해 강력한 파운데이션 모델을 미세 조정(fine-tuning)하는 것은 여전히 해결해야 할 과제로 남아 있습니다.

방법론

저자들은 절차적 생성 합성 데이터와 파운데이션 모델의 미세 조정을 결합한 sim-to-real 프레임워크를 제안합니다. 이 방법론은 세 가지 주요 구성 요소로 이루어집니다.

1. 절차적 합성 데이터 생성:
저자들은 Unreal Engine 5를 사용하여 고충실도 가상 온실 환경을 개발했습니다. 이의 핵심은 L-시스템(L-systems)을 사용하여 구축된 체리 토마토(Solanum lycopersicum var. cerasiform)의 새로운 절차적 모델입니다. 정적인 모델과 달리, 이 시스템은 다음을 시뮬레이션합니다:

생물학적 성장: 확립된 식물학적 규칙에 기반한 심포디얼(sympodial) 분지 패턴, 영양 및 생식 발달, 그리고 복엽 구조를 시뮬레이션합니다.
온실 관리: 모델은 생체역학적 굴성(tropism)과 상업적 관행, 특히 성장에 따라 줄기를 수평으로 이동시키는 "기울이기 및 낮추기(leaning and lowering)" 기술과 소멸된 기부 부분을 가지치기하는 알고리즘 시뮬레이션을 포함합니다.
확률적 변이: 두 개의 시뮬레이션된 식물이 형태학적으로 동일하지 않도록 기하학적 파라미터(잎의 규모, 방향, 분지 각도)가 확률적 승수(stochastic multipliers)에 의해 조절됩니다.
데이터 획득: 구성 가능한 파이프라인을 통해 다양한 시점과 조명 조건에서 동기화된 RGB 이미지, 깊이 맵(depth maps), 그리고 픽셀 단위의 완벽한 정답 주석(잎, 줄기, 꽃, 열매, 배경에 대한 세맨틱 마스크; 인스턴스 마스크; 바운딩 박스)을 생성합니다.

2. 파운데이션 모델 미세 조정:
저자들은 제로샷 능력을 유지하면서 토마토 기관에 특화되도록 SAM 3를 생성된 68,000장의 합성 이미지 데이터셋으로 미세 조정하기 위해 세 가지 뚜렷한 전략을 사용했습니다:

매개변수 효율적 미세 조정 (LoRA): SAM 3 비전 인코더의 어텐션 레이어에 저차원 적응(Low-Rank Adaptation)을 적용하여 전체 파라미터 중 아주 적은 부분만을 업데이트합니다.
전체 미세 조정 (Full Fine-Tuning): 합성 코퍼스를 사용하여 SAM 3의 세맨틱 세그멘테이션 헤드를 포함한 모든 세맨틱 구성 요소를 훈련합니다.
가중치 보간 (WiSE-FT): 도메인 특화와 일반적인 시각적 사전 지식 사이의 균형을 맞추기 위해, 저자들은 $\alpha = 0.75$ 인 공식 $\theta_{wise}(\alpha) = (1 - \alpha) \cdot \theta_{base} + \alpha \cdot \theta_{ft}$ 를 사용하여 사전 훈련된 제로샷 체크포인트와 미세 조정된 체크포인트 간의 가중치를 보간했습니다. 이는 전체 미세 조정 및 LoRA 변형 모두에 적용되었습니다.

3. 평가 프레임워크:
모델은 세 가지 외부 실제 마스크 데이터셋(TomatoMAP-Seg, LaboroTomato, Rob2Pheno)과 정답(ground truth)이 없어 정성적 및 라벨 없는 신뢰도 분석에 사용된 사우디아라비아 상업 온실에서 캡처된 커스텀 실제 데이터셋을 통해 평가되었습니다. 평가는 세맨틱 세그멘테이션 성능에 초점을 맞추었으며, 구체적으로 매크로 열매 IoU(Intersection over Union)와 라벨 없는 신뢰도 지표를 측정했습니다.

주요 기여

대규모 합성 데이터셋: 상업적 온실 관리 관행을 포착하는, 픽셀 단위의 완벽한 정답 주석(RGB, 깊이, 세맨틱, 인스턴스 마스크)을 갖춘 토마토 표현형 분석용 고충실도 절차적 생성 합성 데이터셋을 생성했습니다.
미세 조정 파이프라인: LoRA, 전체 미세 조정, 가중치 보간을 통해 합성 데이터를 활용하여 SAM 3를 온실 작물 기관에 특화시키는 텍스트 조건부 파운데이션 모델 미세 조정 파이프라인을 제안했습니다.
성능 향상: 합성 데이터와 SAM 3 미세 조정을 결합하는 것이 실제 데이터에서 세그멘테이션 성능을 크게 향상시켜, 제로샷 베이스라인 대비 매크로 열매 IoU를 12.9 퍼센트 포인트(52.7%에서 65.6%로) 증가시킴을 입증했습니다.
오픈 릴리스: 커뮤니티 벤치마킹을 촉진하기 위해 절차적 모델, 생성된 합성 데이터셋, 그리고 미세 조정된 SAM 3 가중치를 Hugging Face에 공개했습니다.

결과

실제 세계 전이 (Real-World Transfer): Full FT SAM 3 변형이 외부 실제 데이터셋 전반에서 가장 좋은 종합 성능을 보였으며, 매크로 열매 IoU 0.6562와 이미지 가중치 열매 IoU 0.7372를 달립다. WiSE-FT LoRA SAM 3 변형은 LaboroTomato 데이터셋에서 가장 높은 성능(0.7728 IoU)을 기록했습니다.
합성 vs 실제 역전 현상 (Synthetic vs. Real Inversion): 중요한 발견은 "합성-실제 역전" 현상이었습니다. 지도 학습 베이스라인(DeepLabV3+, SegFormer)과 Full FT 모델은 합성 검증 세트에서 가장 높은 순위를 차지했지만, 반드시 실제 데이터로 가장 잘 전이되는 것은 아니었습니다. 반면, 합성 검증에서는 낮은 점수를 기록했던 LoRA 변형들이 실제 이미지로 훨씬 더 잘 전이되었습니다. 이는 합성 지표만을 위해 최적화하는 것이 모델 선택에 있어 불충분함을 시사합니다.
라벨 없는 신뢰도 (Label-Free Confidence): 라벨이 없는 실제 온실 데이터셋에서, WiSE-FT 변형은 제로샷 베이스라인에 비해 우수한 강건성을 보여주었습니다. 이는 더 높은 모든 픽셀 신뢰도(0.6114 vs. 0.3685), 더 나은 TTA(Test-Time Augmentation) 일치도(0.9045 vs. 0.7345), 그리고 더 현실적인 전경(foreground) 커버리지를 나타냅니다. 제로샷 모델은 전경 미커버리지 및 "꽃 환각(flower hallucination)" 현상을 포함한 체계적인 실패를 보였습니다.
프롬프트 단순성: 미세 조정된 모델들은 복잡한 프롬프트 엔지니어링 없이도 간결한 기관 수준의 텍스트 프롬프트("stem", "leaf", "fruit")에 성공적으로 반응하여 정밀하고 중복되지 않는 세맨틱 마스크를 생성했습니다.

의의 및 주장

본 논문은 절차적으로 생성된 합성 데이터가 파운데이션 모델 미세 조정과 결합될 때 sim-to-real 격차를 효과적으로 메울 수 있음을 입증하는 데 그 주요 의의가 있다고 주장합니다. 저자들은 합성 데이터가 모델에게 일반적인 시각적 이해를 처음부터 가르칠 필요는 없으며, 이미 일반적인 모델(SAM 3)을 토마토 캐노피의 특정 구조적 복잡성 쪽으로 유도(steer)하는 역할을 한다고 강조합니다.

본 연구는 신뢰할 수 있는 모델 선택을 위해 실제 도메인 평가가 필수적임을 강조합니다. 합성 도메인 지표만으로는 실제 세계의 일반화 성능을 예측하기 어렵기 때문입니다. 저자들은 Out-of-the-box 도구(미세 조정된 가중치 및 데이터)를 제공함으로써, 연구자들이 커스텀 모델을 처음부터 훈련할 필요 없이 확장 가능한 농업 비전 시스템 개발을 가속화하는 것을 목표로 합니다. 결론적으로, 합성 데이터는 강력한 조력자이지만, 특정 미세 조정 전략(예: 가중치 보간 vs. 전체 미세 조정)은 합성 검증 점수가 아닌 실제 성능을 바탕으로 신중하게 선택되어야 합니다.