📄 plant biology

OneGrow: Unified Temporal Plant Image and Mask Generation

OneGrow는 공유된 오토인코더와 대규모 데이터셋의 의사 라벨(pseudo-labels)을 활용하여, 시계열 밀 이미지와 기관 수준의 세그멘테이션 마스크를 공동으로 생성함으로써 멀티태스크 합성 및 일관된 장기 예측을 가능하게 하는 통합 잠재 흐름 매칭(latent flow-matching) 모델입니다.

원저자: Boss, M., Volpi, M., Roth, L.

게시일 2026-09-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Boss, M., Volpi, M., Roth, L.

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ⚕️ 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기

농부와 과학자들은 식물이 얼마나 건강한지, 혹은 결국 얼마나 많은 곡물을 생산할지를 사진 한 장으로 밝혀내기를 바라며 작물이 자라는 모습을 관찰하기 위해 오랫동안 카메라에 의존해 왔습니다. 페노타이핑(phenotyping)이라고 알려진 이 관행은 이미지를 식물의 형질에 관한 데이터로 변환합니다. 하지만 가공되지 않은 사진은 이야기의 일부만을 보여줄 뿐입니다. 식물의 발달을 진정으로 이해하려면 연구자들은 어느 부분이 잎이고, 어느 부분이 줄기이며, 어느 부분이 이삭인지를 정확히 알아야 하며, 이러한 부분들이 시간이 지남에 따라 어떻게 변하는지를 확인해야 합니다. 이러한 수준의 세부 정보를 얻는 것은 매우 어렵습니다. 수천 장의 사진 속 모든 잎과 줄기의 윤곽을 수동으로 그리는 작업은 느리고 비용이 많이 드는 일입니다. 게다가, 매일 같은 식물을 추적하려면 이미지가 완벽하게 정렬되도록 보장하는 복잡한 장비가 필요한데, 이는 몇몇 연구 플랫폼조차 일관되게 수행하기 어려운 과제입니다. 그 결과, 명확한 작물 사진과 전체 성장 기간에 걸친 정밀한 내부 구조 지도를 결합한 고품질 데이터가 부족한 상황입니다.

이 문제를 해결하기 위해 연구진은 'OneGrow'라고 불리는 새로운 인공지능 시스템을 개발했습니다. 이 시스템은 기존의 사진을 분석하려고 노력하는 대신, 사진을 만드는 법을 배웁니다. 이것은 생성 모델(generative model)로, 실제 데이터의 패턴을 학습한 다음 그와 동일한 규칙을 따르는 새롭고 현실적인 예시를 만들어내는 유형의 컴퓨터 프로그램입니다. OneGrow는 단순히 그림을 만드는 것이 아니라, 그림과 그에 대응하는 구조 지도를 동시에 만들어낸다는 점에서 독특합니다. 이 시스템은 세계의 주요 식량인 밀 작물을 통해 학습하며, 식물이 날마다 어떻게 변하는지를 이해합니다. 단일일 사진과 다년간의 타임랩스 시퀀스를 혼합하여 훈련함으로써, 시스템은 밀밭이 어떤 성장 단계에서 어떤 모습인지 상세한 잎, 줄기, 이삭의 분해도를 포함하여 상상해 낼 수 있습니다.

이 성과의 핵심은 사진과 지도를 동전의 양면처럼 취급하는 통합된 접근 방식입니다. 이전의 시도들에서 모델들은 식물의 구조를 모른 채 미래의 모습만을 예측하거나, 시간의 흐름을 이해하지 못한 채 특정 날의 지도만을 생성할 수 있었습니다. OneGrow는 이 간극을 메웁니다. 이 시스템은 이미지와 마스크(mask) 모두에 대해 공유된 디지털 표현을 사용하여 두 역할 사이를 자연스럽게 전환할 수 있게 합니다. 만약 연구자가 사진을 제공하면 시스템은 지도를 그려냅니다. 만약 지도를 제공하면 시스템은 사실적인 사진을 그려냅니다. 만약 며칠간의 사진을 제공하면 시스템은 며칠 뒤 식물이 어떻게 보일지 예측할 수 있습니다. 이러한 유연성은 연구자들이 '리빌(reveal)'이라고 부르는 메커니즘에서 비롯되는데, 이는 컴퓨터에게 장면의 어떤 부분이 이미 알려져 있고 어떤 부분을 새로 만들어내야 하는지를 알려주는 일종의 지침 역할을 합니다.

훈련 과정은 세심한 균형 잡기였습니다. 연구진은 시스템에 두 가지 다른 유형의 데이터를 입력했습니다. 첫 번째는 방대한 양의 단일일 밀 사진 컬렉션으로, 여기서 컴퓨터는 식물의 구조를 추측해야 했습니다. 이 사진들 중에는 인간 전문가가 일일이 라벨을 붙이지 않은 것이 많았기에, 팀은 '의사 라벨(pseudo-labels)', 즉 컴퓨터가 생성한 지도를 사용하여 이를 실제 정답(ground truth)으로 활용했습니다. 두 번째 데이터 소스는 6년 동안 동일한 밀 구획에서 촬영된 수천 장의 이미지를 포함하는 다년간의 데이터셋이었습니다. 이를 통해 OneGrow는 계절의 리듬을 학습하여, 작은 싹이 어떻게 키가 크고 울창한 작물로 변모하는지를 이해할 수 있었습니다. 이 두 가지 소스를 결합함으로써, 모델은 실제 들판에서 발견되는 다양한 조명과 날씨 조건을 처리하는 동시에 식물 성장의 느리고 꾸준한 진행 과정을 파악할 수 있었습니다.

테스트 결과, 이 시스템은 일관된 시퀀스를 생성하는 놀라운 능력을 보여주었습니다. 한 실험에서 연구진은 모델에 며칠간의 사진을 주고 다음 며칠간의 모습을 예측하도록 했습니다. 시스템은 식물의 캐노피(canopy)가 더 빽빽해지고 식물이 성숙해지는 모습을 보여주는 이미지를 생성하면서도, 새로운 이미지와 일치하는 구조 지도를 유지했습니다. 또 다른 테스트에서 모델은 식물의 각 부위를 나타내는 단순한 색상 코드가 입혀진 지도를 받아, 레이아웃을 완벽하게 맞추면서 풀 컬러 사진을 생성했습니다. 시스템은 심지어 이미지의 누락된 부분을 채우는 기능까지 수행하여, 사진의 작은 조각을 주변 맥락과 일치하는 전체 장면으로 확장했습니다. 이러한 결과는 시각적으로 설득력이 있을 뿐만 아니라 정량적으로도 강력했습니다. 연구진이 생성된 지도를 실제 사람이 그린 지도와 비교했을 때, 시스템은 특히 잎과 이삭 부분에서 높은 정확도를 달알성했으나, 가는 줄기를 정의하는 데는 다소 어려움을 겪었습니다.

이 연구의 함의는 단순히 보기 좋은 그림을 만드는 것에 그치지 않습니다. 시스템이 완벽한 구조 지도가 결합된 사실적인 이미지를 생성할 수 있기 때문에, 이는 다른 AI 도구들을 위한 무한한 훈련 데이터를 생성하는 방법이 됩니다. 연구자들은 이러한 합성 데이터를 사용하여 다른 컴퓨터가 질병을 식별하거나 씨앗의 수를 세는 법을 가르칠 수 있으며, 실제 데이터셋에서 희귀하거나 누락된 성장 단계 및 기상 조건을 커버할 수 있습니다. 또한 이 모델은 추상적인 식물 성장 시뮬레이션을 사실적인 시각 자료로 변환하는 길을 열어주어, 과학자들이 서로 다른 유전적 형질이나 환경 변화가 현장에서 어떻게 보일지를 시각화할 수 있게 합니다. 현재 이 시스템은 밀에 특화되어 있고 훈련을 위해 컴퓨터가 생성한 라벨에 의존하고 있지만, 이는 우리가 이전에는 불가능했던 깊이와 속도로 작물 발달을 시뮬레이션하고 이해할 수 있는 미래를 향한 중요한 진전입니다. 이 작업은 기계에게 이미지 속의 구조를 보는 법을 가르침으로써, 우리가 먹는 음식이 어떻게 자라는지에 대한 더 완전한 이해를 끌어낼 수 있음을 시사합니다.

기술 요약: OneGrow

문제 정의

이미지 기반의 작물 표현형 분석(phenotyping)은 식물의 발달을 효과적으로 연구하기 위해 이미지와 기관 수준의 세그멘테이션 마스크가 쌍을 이루는 데이터를 필요로 합니다. 그러나 다음과 같은 두 가지 주요 병목 현상으로 인해 이러한 데이터는 매우 희귀합니다:

주석 비용: 기관 수준의 세그멘테이션은 노동 집약적이어서, 레이블이 지정된 데이터는 수집된 전체 이미지 중 아주 적은 부분만을 차지합니다.
시간적 희소성: 발달 과정을 추적하기 위해 한 시즌 동안 동일한 구역을 반복적으로 촬영하는 것은 운영상 어렵고 좀처럼 수행되지 않습니다.

식물을 위한 기존 생성 모델들은 이러한 두 가지 요구를 동시에 해결하지 못하는 경우가 많습니다. 어떤 모델은 구조적 레이블 없이 시간적 이미지만 합성하며, 다른 모델은 레이벨링된 이미지-마스크 쌍을 생성하지만 시간적 차원을 결여하고 있습니다. 저희가 알기로는, 특히 관찰이 조밀하게 샘플링되기보다 드문드문 발생하는 밀 작물(wheat)과 같은 경우에 대해, 시간 경과에 따른 기관 레이블이 포함된 이미지를 공동으로 생성하는 식물 특화 모델은 존재하지 않습니다.

방법론: OneGrow

OneGrow는 밀 이미지와 그 기관 세그멘테이션 마스크를 시간에 따라 공동으로 모델링하도록 설계된 통합 잠재 흐름 매칭(latent flow-matching) 모델입니다. 이 모델은 단일 아키텍처 내에서 다양한 생성 작업을 처리하기 위해 "리빌(reveal)" 메커니즘을 활용합니다.

핵심 아키텍처

공유 잠재 표현(Shared Latent Representation): OneGrow는 RGB 이미지와 색상 코드가 지정된 세그멘테이션 마스크를 모두 인코딩하기 위해 단일한 프리징된 이미지 VAE(Variational Autoencoder)를 사용합니다. 마스크는 고정된 팔레트를 사용하여 RGB 이미지로 변환된 후 인코딩됩니다. 이를 통해 모델은 모달리티별 전용 인코더 없이도 이미지와 마스크를 동일한 잠재 공간 내의 서로 다른 "뷰(view)"로 취급할 수 있습니다.
흐름 매칭 트랜스포머(Flow-Matching Transformer): 모델은 모든 잠재 패치(latent patches)를 하나의 "윈도우" 내에서 동시에 처리하는 트랜스포머 백본(DiT)을 채택합니다. 이 모델은 선형 보간 경로를 따라 노이즈를 깨끗한 데이터로 운송하기 위한 공동 속도장(joint velocity field)을 예측합니다.
뷰 수집(View Collection): 훈련 윈도우는 모달리티(이미지 또는 마스크)와 프레임(시간)에 의해 인덱싱된 뷰들의 집합으로 정의됩니다. 각 뷰는 중복되지 않는 패치들로 구성됩니다.
리빌 메커니즘(The Reveal Mechanism): 패치당 이진 리빌 마스크( $r$ $r$ )가 적용됩니다.
- $r=1$ : 해당 패치는 깨끗한 컨텍스트로 드러납니다 ( $\tau=1$ ).
- $r=0$ : 해당 패치는 생성됩니다 ( $\tau=\tilde{\tau}$ ).
  이 메커니즘을 통해 모델은 공간적으로 부분적인 컨텍스트(예: 일부 패치는 관찰되고, 나머지는 생성됨)를 처리할 수 있으며, 관찰된 콘텐츠와 생성된 콘텐츠의 구성을 변경함으로써 세그멘테이션, 합성, 예측과 같은 특정 작업을 정의합니다.

훈련 전략

데이터 소스: 모델은 다음 두 가지 소스를 공동으로 학습합니다:
1. GWFSS: 광범위한 외관 변화를 가진 대규모 단일 프레임 데이터셋. 인간이 주석을 달지 않은 마스크는 평가용으로 남겨두며, 나머지는 사전 훈련된 세그멘테이션 모델에 의해 의사 레이블(pseudo-labeled)로 처리됩니다.
2. FIP1: 겨울 밀의 정렬된 성장 윈도우를 포함하는 다년생 시계열 데이터셋.
의사 레이블링(Pseudo-Labeling): 시계열 데이터의 경우 인간의 주석이 부족하므로, 모델은 최첨단 세그멘테이션 모델(ViT-Adapter/Mask2Former)에 의해 생성된 의사 레이블을 사용하여 학습합니다.
손실 함수: 모델은 생성된 패치에만 집중하여 속도장에 대한 리빌 가중 평균 제곱 오차(MSE)를 최소화합니다.
시간적 롤아웃(Temporal Roll-out): 훈련 윈도우보다 긴 시퀀스의 경우 슬라이딩 윈도우 롤아웃이 사용됩니다. 각 새로운 프레임은 이전 프레임들과 타겟 마스크를 조건으로 하여 자기회귀적(autoregressively)으로 생성되며, 이를 통해 시간적 일관성을 보장합니다.

컨디셔닝(Conditioning)

모델은 획득 도메인과 프레임별 광도 통계(노출 및 색상)를 레지스터 토큰(register tokens)으로 포함하는 메타데이터 컨디셔너를 수용합니다. 샘포링 시에는 분류기 없는 가이드(Classifier-free guidance, CFG)가 적용됩니다.

주요 기여

통합 모델: OneGrow는 세그멘테이션, 합성, 예측과 같은 작업을 통합하여 기관 레이블이 포함된 이미지를 공동으로 생성하는 식물 중심 모델입니다.
의사 레이벨 학습: 다양성이 풍부한 단일 프레임 소스와 다년생 시계열 소스를 의사 레이블을 사용하여 효과적으로 공동 학습함으로써, 값비싼 인간 주석에 대한 의존도를 낮추는 것을 입증했습니다.
유연한 리빌 메커니즘: 패치 단위의 리빌 시스템을 통해 관찰된 콘텐츠와 생성된 콘텐츠의 구성을 변경하는 것만으로도 다양한 작업(이미지-투-마스크, 마스크-투-이미지, 공간적 완성, 예측)을 하나의 모델로 수행할 수 있습니다.

결과

모델은 인간이 주석을 단 홀드아웃 데이터(GWFSS)와 시계열 데이터(FIP1)에 대해 평가되었습니다.

세그멘테이션 (Image-to-Mask): OneGrow는 GWFSS 테스트 세트에서 0.697의 평균 IoU(mIoU)를 달성하였으며, 이는 기존 챌린지 우승자의 성적인 0.740과 비교됩니다. 성능 차이는 특히 가늘고 세그멘테이션이 어려운 "줄기(stem)" 클래스에서 두드러졌습니다.
마스크 준수 (순환 일관성): 마스크로부터 이미지를 생성하고 이를 다시 세그멘테이션했을 때, OneGrow는 0.749의 순환 일관성 mIoU를 달성하여 실제 이미지에서의 챌린지 우승자 성능(0.740)과 일치하는 결과를 보였습니다. 이는 모델이 컨디셔닝 마스크에 따라 기관을 정확하게 배치함을 나타냅니다.
이미지 생성 품질:
- GWFSS에서 OneGrow는 Retrieval 베이스라인(Mask-NN)보다 페어드 LPIPS(0.426 vs 0.548) 측면에서 우수했으나, 세트 수준의 지표(FD-DINOv2, CMMD)에서는 뒤처졌습니다. 이는 베이스라인이 실제 훈련 이미지와 정확히 일치하는 이미지를 검색하기 때문입니다.
- FIP1에서 OneGrow는 CMMD와 LPIPS에서 베이스라인보다 우수한 성능을 보였으며, FD-DINOv2 점수는 대등했습니다.
질적 작업: 모델은 시간적 예측(성장 궤적 지속), 마스크 가이드 공간 완성(outpainting), 그리고 이미지-마스크 쌍의 공동 생성을 성공적으로 시연했습니다.

의의 및 한계점

의의:
OneGrow는 현실적인 기관 레이블이 포함된 이미지 시퀀스를 생성하는 방법을 제공하며, 이는 특히 미흡하게 표현된 성장 단계나 이미징 조건에 대한 세그멘테이션 및 인식 작업의 훈련 데이터를 증강할 수 있습니다. 이는 구조적 마스크를 제공하는 프로세스 기반 작물 모델과 현실적인 이미지 사이의 간극을 메워줍니다.

한계점:

의사 레이블 편향: 모델은 티처(teacher) 세그멘테이션 모델의 편향을 상속받으며, 특히 가는 줄기에 대해 그러합니다.
도메인 특수성: 모델은 밀에 대해서만 학습되었으므로, 다른 작물로의 전이 가능성은 테스트되지 않았습니다.
추론 비용: 반복적인 생성 모델로서, 전용 세그멘테이션 네트워크보다 추론 시 계산 비용이 더 높습니다.
평가 범위: 현재 시간적 마스크 조건부 생성에 대한 지원은 질적 결과로만 뒷받s며, 이에 대한 정량적 검증은 보류 중입니다.
성능 격차: OneGrow는 순수 이미지-투-마스크 정확도 측면에서 전용 세그멘테이션 챌린지 우승자를 능가하지 못하는데, 이는 마스크 조건부 합성 및 예측이 더 강조되었기 때문입니다.