Generating Hierarchical JSON Representations of Scientific Sentences Using LLMs

논문 요약: LLM 을 활용한 과학 문장의 계층적 JSON 표현 생성

1. 연구 배경 및 문제 제기 (Problem)

• 과학 문장의 복잡성: 과학 문장은 단순한 사실 전달을 넘어 조건, 시간적 한정, 논리적 예외 등 핵심 주장과 이를 뒷받침하는 복잡한 구조를 포함하고 있습니다.
• 기존 방법의 한계: 기존 연구들은 문장을 두 개체 간의 단일 관계 (A–relation–B) 로 매핑하는 평면적 (flat) 구조를 주로 사용했습니다. 이는 단순한 진술에는 적합하지만, 절 (clause) 수준의 의존성이나 계층적 논리를 표현하는 데에는 한계가 있어 정보 손실이 발생할 수 있습니다.
• 연구 목표: 과학 문장의 의미를 보존하면서 구조화된 표현을 생성할 수 있는지, 그리고 해당 구조가 원문 재구성에 얼마나 효과적인지 검증하는 것입니다.

2. 방법론 (Methodology)

• 데이터셋 구축:

  • 물리학, 컴퓨터 과학, 수학, 경제학, 생물학, 화학, 의학 등 7 개 과학 분야의 아카이브 (arXiv, bioRxiv 등) 에서 1,500 개의 과학 문장을 수집했습니다.
  • 수식, 기호, 인용 부호가 포함된 문장을 제거하여 최종적으로 1,370 개의 문장을 분석용 데이터로 사용했습니다.
  • 데이터를 학습/검증 (1,096 개) 과 테스트 (274 개) 세트로 분할했습니다.

• 훈련 데이터 생성 (GPT-4o 활용):

  • 고품질의 훈련 데이터를 생성하기 위해 GPT-4o 를 사용하여 원문 문장을 JSON 형식으로 변환했습니다.
  • JSON 구조:
    • core: 문장의 핵심 주장 (generic label 및 central claim) 을 포함.
    • hierarchy: 핵심을 둘러싼 계층적 구조를 관계 유형 (relationship type) 과 구성 요소로 표현.
  • 프롬프트 제약: 원문과의 단어별 복사 방지, 각 필드 길이를 원문의 30% 이하로 압축, 논리적 흐름에 따른 계층적 조직화 등을 지시했습니다.

• LLM 파인튜닝 (Mistral-7B + LoRA):

  • 약 70 억 파라미터 규모의 Mistral-7B 모델을 선택하여 경량 LLM 의 가능성을 검증했습니다.
  • LoRA (Low-Rank Adaptation) 기술을 사용하여 어텐션 및 피드포워드 레이어만 파인튜닝하고 나머지는 고정했습니다.
  • 새로운 구조적 손실 함수 (Novel Structural Loss Function):
    • 기존 교차 엔트로피 손실 (CrossEntropyLoss) 에 더해, 생성된 출력이 유효한 JSON 객체인지 실시간으로 검증하는 구조적 페널티 (Structure Penalty) 를 도입했습니다.
    • 생성된 토큰을 디코딩하여 JSON 파싱을 시도하고, 파싱이 실패할 경우 배치 손실에 페널티를 부과하여 문법적으로 올바른 JSON 생성을 강제했습니다.

• 문장 재구성 및 평가:

  • 파인튜닝된 Mistral-7B 가 생성한 JSON 을 GPT-4o 에 입력하여 자연어 문장으로 재구성했습니다.
  • 평가 지표:
    • 의미 유사도: Sentence Transformer (all-mpnet-base-v2) 를 이용한 코사인 유사도 (Cosine Similarity).
    • 어휘 중첩: BLEU, ROUGE-1 F1, METEOR 점수.

3. 주요 기여 (Key Contributions)

1. 계층적 JSON 표현 프레임워크: 과학 문장의 복잡한 논리 구조를 평면적 관계가 아닌, 핵심과 지원 요소를 분리한 계층적 JSON 으로 표현하는 새로운 방식을 제안했습니다.
2. 구조 유효성 강제 학습 메커니즘: LLM 이 JSON 형식을 올바르게 생성하도록 하기 위해, 학습 루프 내에 JSON 파서 기반의 동적 페널티 시스템을 통합한 새로운 손실 함수를 개발했습니다.
3. 경량 모델의 효율성 검증: 거대 모델이 아닌 7B 파라미터 규모의 경량 모델 (Mistral-7B) 만으로도 과학 문장의 의미 보존 및 재구성이 가능함을 입증했습니다.

4. 실험 결과 (Results)

• 형식 정확도: 테스트 세트 (274 개) 의 모든 JSON 출력이 100% 유효한 JSON 형식으로 생성되어, 모델이 구조적 제약 조건을 완벽하게 학습했음을 보였습니다.
• 의미 보존도:
  • 코사인 유사도 평균: 0.8724 (표준 편차 0.0682). 대부분의 문장에서 0.85 이상의 높은 점수를 기록하여 의미 보존이 효과적임을 입증했습니다.
  • 어휘 유사도: BLEU 점수는 상대적으로 낮았으나 (0.1496), 이는 JSON 압축 과정에서 단어 선택이 변경되었기 때문이며, 의미적 유사도가 높게 유지된 것으로 해석됩니다.
• 사례 분석:
  • 높은 점수를 받은 문장 (예: ID 185) 은 핵심 아이디어와 논리적 흐름이 잘 보존되었습니다.
  • 낮은 점수를 받은 문장 (예: ID 134, 522) 은 압축 과정에서 논리적 연결이 약해지거나 핵심 내용이 누락된 경우였습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 과학 텍스트 처리의 새로운 패러다임: 과학 문장의 복잡한 논리 구조를 단순화하지 않고 계층적으로 표현함으로써, 정보 손실 없이 텍스트를 처리할 수 있는 가능성을 제시했습니다.
• 재구성 가능성: 생성된 JSON 구조가 원문 재구성에 충분한 정보를 포함하고 있음을 실증적으로 증명했습니다.
• 향후 과제: 손상된 구조 (corrupted structures) 에 대한 견고성 테스트 및 의미적 역할 정렬을 위한 트리 기반 손실 함수 (tree-based loss) 연구 등을 통해 방법론을 고도화할 계획입니다.

이 연구는 과학적 지식을 구조화된 데이터로 변환하고 이를 다시 자연어로 복원하는 과정에서 LLM 의 잠재력을 보여주며, 과학 문헌 분석 및 지식 그래프 구축 등에 유용한 도구가 될 것으로 기대됩니다.