Adapting a small language model for plant protection information in Türkiye

기술 요약: 터키의 식물 보호 정보 제공을 위한 소형 언어 모델의 적응

문제 정의
식물 보호 조언은 생물학적 지식, 제품 사용 규정, 법적 제약 및 특정 출처의 증거를 정밀하게 통합하는 과정이 필요하다. 언어 모델(LM)은 기술적 정보를 접근 가능하게 만들 수 있지만, 중요한 제한 사항을 누락하거나 잔류 허용 한도와 사용 허가 권한을 혼동하여 유창하지만 부정확한 답변을 생성할 위험이 있다. 기존의 농업 어시스턴트들은 터키와 같은 현지 규제 맥락에 필요한 특정 도메인 전문 지식이 부족한 경우가 많다. 또한, 표준적인 로컬 모델 학습은 농업 조언의 신뢰성을 본질적으로 보장하지 않으므로, 일반적인 언어 품질과는 별도로 엄격하고 작업 특화된 평가가 필요하다.

방법론
본 연구는 소스 데이터베이스와 소형 언어 모델을 결합하도록 설계된 터키 시스템인 BitkiKorumacı의 개발 과정을 대한 회고적 분석을 제시한다. 연구는 **4비트 양자화(four-bit quantization)**를 적용한 **LoRA(Low-Rank Adaptation)**를 통해 적응된 Qwen3-4B 모델(40억 파라미터)을 사용하여 네 가지 개발 구성을 중심으로 수행되었다.

• 데이터 및 출처: 시스템은 약 46,798개의 소스 레코드, 601,151개의 텍스트 청크, 그리고 식물 보호 제품, 작물, 유기체 및 법규에 관한 구조화된 엔티티를 포함하는 로컬 SQLite 데이터베이스를 활용한다. 학습 데이터셋(B2, B2R, B2S, B2S2)은 평가 벤치마크와는 별개인 수천 개의 지시문 예시로 구성된다.
• 적응 전략: 베이스 모델의 가중치는 고정된 상태에서 LoRA 어댑터를 학습시킨다. 각 구성은 학습 데이터의 구성에서 차이를 보인다:
  • B2: 기존의 타겟 데이터셋을 사용한다.
  • B2R: 이전에 낮은 점수를 기록했던 작업들을 위해 선택적인 응답을 추가한다.
  • B2S: 지문 관련 작업의 균형을 조정하며, 저항성 및 출처 검토 예시를 추가하기 위해 일부 진단/IPM 예시를 제거한다.
  • B2S2: B2S 세트 내의 저항성 추론 패밀리에 속하는 60개의 어시스턴트 타겟을 수정한다.
• 평가 프레임워크: 본 연구는 14개 작업 범주(예: 제품 허가, 잔류 정보, 저항성, 진단)에 걸친 860개 사례의 개발 평가 서브셋을 통해 성능을 평가한다. 평가는 네 가지 "암(arm)"을 비교한다:
  1. 질문 프롬프트만 포함된 베이스 모델.
  2. 데이터베이스 검색이 추가된 베이스 모델.
  3. 적응된 모델과 질문 프롬프트만 포함된 경우.
  4. 적응된 모델과 데이터베이스 검색이 추가된 경우.
• 지표: 성능은 어휘 중첩(token F1), 핵심 용어 포함 여부, 시험을 위한 정확한 옵션 일치, 그리고 안전 및 규제 맥락 규칙 준수 여부를 확인하는 **자동 통과율(automatic pass rate)**로 측정된다. 카테고리별 매크로 평균과 가중 전체 통과율이 계산된다.

주요 기여

1. 시스템 통합: 본 논문은 터키의 식물 보호 출처와 소형 모델 적응 파이프라인을 연결하는 로컬 워크플로우를 기록하며, 특히 구조화된 사실과 지문 기반 추론 사이의 구분을 다룬다.
2. 경험적 개발 기록: 네 가지 적응 구성을 상세히 기록하여, 한 카테고리(예: 진단)에서의 개선이 다른 카테고리의 정체나 하락과 동시에 발생할 수 있는 트레이드오프를 강조한다.
3. 지표의 분리: 본 연구는 "개발 점수"(자동 통과율)를 "실제 사용"에 필요한 증거(현장 정확도 및 안전성)와 명시적으로 분리하며, 높은 벤치마크 점수가 자율적인 전문가 역량과 동일하지 않음을 강조한다.
4. 작업 특화 분석: 실패와 성공을 14개의 별도 작업 유형으로 분류하여, 검색 증강(retrieval augmentation)이 복잡한 지문 추론보다 구조화된 사실 검색에 더 많은 이점을 준다는 점을 입증한다.

결과

• 검색의 영향: 가장 중요한 발견은 데이터베이스 증거가 추가되었을 때 성능이 극적으로 향改善된다는 점이다. B2S 구성의 경우, 860개 사례 서브셋에 대한 자동 통과율이 질문 프롬프트만 있을 때 **13.02%**에서 데이터베이스 검색 추가 시 **69.88%**로 증가했다.
• 구성별 성능:
  • 검색이 포함된 B2S는 14개 카테고리 임계값 중 12개를 통과하였으며, 가장 높은 매크로 평균(69.26%)을 달 기록했다.
  • B2R은 약간 더 높은 전체 통과율(70.23%)을 달성했으나, 통과한 카테カテゴリ 임계값은 더 적었다(11/14).
  • B2S2는 B2S에 비해 낮은 전체 결과를 보여, 특정 타겟 수정이 보편적인 개선을 가져오지는 않았음을 나타냈다.
• 지속적인 실패: 전반적인 개선에도 불구하고, 시스템은 다음과 같은 핵심 작업에서 실패했다:
  • 저항성 및 출처 기반 검토 작업은 임계값 미달을 기록했다(각각 6.15% 및 20.00%만 통과).
  • 행동 체크(반복 및 작업 응답)는 네 가지 구성 모두에서 실패했다.
  • 안전 및 규제 맥락: 시스템은 40/40 사례에서 안전 조건을 충족했고, 494/540 사례에서 규제 맥락을 충족했으나, 이는 특정 규칙 하에서의 출력 기록에 대한 속성이지 보편적 안전성에 대한 추정치가 아니다.
• 베이스라인 비교: 베이스 모델(적응 전)은 검색을 적용하더라도 성능이 낮았으며(통과율 0.93%), 이는 지정된 답변 계약 하에서 제공된 증거를 효과적으로 활용하기 위해 적응이 필수적임을 확인시켜 준다.

의의 및 주장
본 논문은 로컬 적응이 터키 식물 보호를 위한 특정 작업 설계 내에서 제공된 증거의 활용도를 높일 수 있음을 겸허히 주장한다. 이는 소형 언어 모델이 검색 및 도메인 특화 미세 조정을 결과와 결합할 때, 구조화된 정보 작업에 대해 벤치마크에 부합하는 답변을 생성할 수 있음을 입증한다.

그러나 저자는 본 연구가 현장 정확도나 자율적 조언의 안전성을 보여주는 것이 아님을 명시적으로 밝힌다. 결과는 캠페인 기간 동안 반복적으로 사용된 개발 서브셋에 국한되며, 모든 벤치마크 참조에는 완료된 독립적 전문가 검토가 결여되어 있다. 본 연구는 시스템이 실무적, 자율적 사용을 고려하기 전 단계로서, 개발 사례 기록이자 필요한 테스트 목록(독립적 전문가 검토, 새로운 평가 세트, 행동 체크)을 제시하는 역할을 한다. 본 연구는 새로운 신경망 아키텍처나 다른 농업 어시스턴트 대비 우월성을 주장하는 것이 아니라, 로컬 농약 작업에서 출처 사실, 허가 사항 및 참조 날짜를 분리하는 것의 중요성을 강조한다.