SciMIF: Understanding Multimodal Instruction Following in Scientific Domains

기술 요약: SciMIF

문제 정의

과학적 영역에서 멀티모달 거대 언어 모델(MLLM)의 적용은 기본적인 질의응답을 넘어 자율적인 과학 에이전트와 같은 복잡한 패러다임으로 진화해 왔습니다. 그러나 현재의 평가 방법은 주로 과학적 정확성(최종 답변이 사실적으로 정확한지 여부)에 집중되어 있으며, 지시 이행(모델이 명시적인 운영 제약 조건을 충족하는지 여부)에는 초점을 맞추지 못하고 있습니다.

기존의 범용 지시 이행 벤치마크(예: IF-Eval, FollowBench)는 형식, 길이, 스타일 등의 제약을 평가하지만, 도메인 특화된 과학적 제약 조건은 결여되어 있습니다. 반대로, 기존의 과학 벤치마크(예: SciBench, MMMU)는 추론과 지식을 평가하지만, 복잡하고 다단계적인 운영 지시를 따르는 모델의 능력을 체계적으로 테스트하지는 않습니다. 이러한 격차는 두 가지 별개의 능력을 모호하게 만듭니다. 즉, 모델이 요청된 단위나 형식을 위반하면서도 과학적으로 올바른 답을 낼 수 있고, 혹은 유효하지 않은 과학적 추론에 의존하면서도 형식을 엄격히 준수할 수도 있습니다. 또한, 과학적 지시 이행은 도메인 특화 지식, 학문 간 의미론적 차이, 그리고 빈번한 멀티모달 입력(예: 분자 구조, 현미경 이미지)에 대한 의존성 때문에 독특한 난이도를 가집니다.

방법론

1. 과학적 제약 조건의 분류 체계 (Taxonomy)

저자들은 화학, 지리학, 생물학, 재료과학, 물리학의 5개 과학 분야를 아우르는 MLLM 평가를 위해 설계된 SciMIF(Scientific Multimodal Instruction Following)를 소개합니다.

이들 분야의 22개 별도 태스크 분석을 바탕으로, 저자들은 다음과 같은 계층적 분류 체계를 구축했습니다:

• 10가지 기능적 제약 그룹: 절차(Procedure), 숫자(Number), 방법(Method), 단위(Unit), 형식(Format), 용어(Terminology), 정밀도(Precision), 문자(Letter), 구조(Structure), 선택(Selection)을 포함하여 여러 도메인에서 공유되는 요구사항을 포착합니다.
• 분야별 구체화: 기능적 그룹은 공유되지만, 그 구체적인 의미는 달라집니다. 예를 들어, "용어" 제약은 화학에서는 유효한 분자 명명법을, 지리학에서는 계층적 주소를, 재료과학에서는 특성 분석 기법을 요구합니다.
• 제약 목록: 최종 벤치마크는 각 학문의 관습에 맞춰 조정된 10개 그룹으로부터 파생된 42개의 별도 제약 조건을 포함합니다.

2. 데이터 구축 파이프십

SciMIF는 13개의 기존 과학 데이터셋(총 2,527개 샘플)을 4단계 파이프라인을 통해 체계적으로 증강하여 구축되었습니다:

1. 시드 준비 (Seed Preparation): 질문($q$), 선택적 시각 입력($I$), 참조 답변($a$), 태스크 유형($t$)을 갖춘 샘 샘플을 선정합니다.
2. 제약 인식 (Constraint Recognition): 중복을 피하기 위해 원래 쿼리에 이미 암시되어 있는 제약 조건을 식별합니다.
3. 제약 주입 (Constraint Injection):
   • 과학적 제약: 태스크 유형과 호환되는 도메인 특화 제약을 주입합니다.
   • 일반 제약: 참조 답변의 과학적 정확성을 해치지 않으면서 일반적인 운영 제약(예: 출력 형식, 대소문자)을 주입합니다.
   • 검증: 자동화된 이중 점검을 통해 주입된 제약이 쿼리에 존재하며, 정답(ground-truth)이 여전히 유효한지 확인합니다.
4. 인간 검증 (Human Verification): 두 명의 어노테이터가 논리적 일관성, 유창성, 제약 충실도를 검토합니다. 문제가 있는 샘플은 수정되거나 폐기됩니다.

3. 평가 지표

본 벤치마크는 성능을 평가하기 위해 세 가지 지표를 사용합니다:

• 제약 만족도 (Constraint Satisfaction Rate, CSR): 모든 지시 사항에 걸쳐 만족된 제약의 평균 비율입니다.
• 지시 만족도 (Instruction Satisfaction Rate, ISR): 관련된 모든 제약 조건이 완전히 충족된 지시 사항의 비율입니다.
• 분해된 요구사항 이행률 (Decomposed Requirements Following Ratio, DRFR): 전체 제약 조건 수 대비 개별적으로 분해된 요구사항 수준에서의 준수 여부를 측정합니다.

검증에는 결정론적 체크(형식 및 단위 등)를 위한 스크립트 기반 방법과 추론 단계와 같은 의미론적 체크를 위한 LLM-as-a-Judge 프로토콜이 활용됩니다.

주요 결과

1. 학문 분야별 성능 차이

최신 폐쇄형 모델(예: GPT-5.2, Claude-Sonnet-4.6)과 오픈 소스 모델(예: Qwen3.5, InternVL3.5)을 평가한 결과 상당한 변동이 나타났습니다:

• 화학은 가장 큰 도전 과제를 제시하며, 최고 성능 모델인 GPT-5.2조차 ISR이 46.33%에 불과했습니다.
• 생물학 및 재료과학은 더 높은 성능(ISR ~72–78%)을 보였습니다.
• 지리학 또한 공간적 계층 구조로 인해 상당한 어려움을 보였습니다.
• 물리학은 일반적으로 가장 높은 DRFR 점수(평균 92.2%)를 기록했습니다.

2. 모델 규모 및 아키텍처

• 스케일링 역설 (Scaling Paradox): 모델 파라미터가 증가한다고 해서 지시 이행 능력이 선형적으로 향상되지 않습니다. 예를 들어, Qwen3.5 시리즈에서 122B 모델(ISR 50.41%)은 27B 모델(ISR 51.37%)보다 약간 낮은 성능을 보였습니다.
• 폐쇄형 vs 오픈 소스: 폐쇄형 모델이 모든 분야에서 오픈 소스 모델보다 일관되게 우수한 성능을 보였으며, 이는 데이터 품질 및 정렬 전략의 이점을 시사합니다.

3. 제약 도메인 분석

• 일반 제약 vs 과학적 제약: 모델은 일반적인 제약(형식/구조)보다 과학적 제약(태스크와 의미적으로 결합된 제약)에서 훨씬 더 높은 성능을 보였습니다. GPT-5.2의 경우, 과학적 제약에 대한 DRFR은 88.74%였으나 일반 제약에 대해서는 74.65%였습니다.
• 세밀한 과제: 모델은 정밀한 기호 처리 및 도메인 특화 엔티티 인식(예: 화학 결합 수 세기 vs 문자 수 세기)을 요구하는 문자(Letter) 및 숫자(Number) 제약에서 가장 어려움을 겪었습니다.

4. 정확성 vs 이행

핵적인 발견은 과학적 정확성과 지시 이행 사이의 약한 결합 관계입니다:

• 약 30%의 샘플만이 과학적 정확성과 완전한 지시 이행을 모두 달성했습니다 (정확함 및 준수됨).
• 약 20%의 샘플은 과학적으로는 정확했으나 제약을 위반했습니다 (정확하지만 위반됨).
• 30% 이상의 샘플은 지시는 따랐으나 과학적으로 틀린 답을 냈습니다 (부정확하지만 준수됨).
• 통계적 분석(Pearson $\chi^2$ 검정) 결과, 정확성과 이행은 양의 상관관계가 있지만 그 강도는 완만하며($\phi$ 계수가 0.06에서 0.20 사이), 이는 두 능력이 별개임을 나타냅니다.

의의 및 기여

본 논문은 세 가지 주요 기여를 주장합니다:

1. 전문가 기반 분류 체계: 5개 분야와 10개 기능 그룹을 아우르며, 공유된 능력과 도메인 특화 요구사항을 모두 포착하는 포괄적인 과학적 제약 분류 체계를 확립했습니다.
2. 확장 가능한 프레임워크: 암시적 제약을 인식하고 참조 답변을 변경하지 않으면서 호환 가능한 제약을 주입함으로써, 기존 과학적 태스크를 지시 이행 평가로 변환하는 방법론을 제시했습니다.
3. 벤치마크 및 평가: SciMIF를 구축하고 대표적인 MLLM을 평가하여 다음을 밝혀냈습니다:
   • 학문 분야에 따른 상당한 성능 차이.
   • 세밀한 제약 조건에서의 심각한 어려움.
   • 과학적 정확성과 지시 이행 사이의 명확한 간극.

저자들은 현재의 MLLM이 엄격한 운영 제약이 필요한 엄밀한 과학적 응용 분야에서 아직 신뢰할 만한 수준이 아니라고 결론짓습니다. 이들은 향데 연구가 도메인 인지적 지시 정렬, 미세한 제약 해결을 위한 외부 도구(예: 심볼릭 엔진) 통합, 그리고 정확성과 이행을 분리하여 다루기보다 공동 달성을 최적화하는 방향에 집중해야 한다고 제안합니다.