기술적 요약: 새로운가? 그리고 왜? 패시지 검색 기반의 세밀한 특허 신규성 예측

문제 정의

특허 신규성 평가는 특허 심사 과정의 핵심 요소로, 심사관이 발명이 선행 기술에 개시되었는지 여부를 판단해야 합니다. 전통적으로 이는 청구항 수준 (신규 vs. 비신규) 의 이진 분류 작업으로 모델링되어 왔습니다. 그러나 저자들은 이 공식화가 두 가지 주요 이유로 결함이 있다고 주장합니다:

1. 세밀함의 부재: 이진 레이블은 청구항의 어떤 특정 특징이 개시되었는지 또는 신규한지에 대한 통찰력을 제공하지 않아, 특허 전문가들의 실용적 유용성을 제한합니다.
2. 허위 상관관계: 선행 연구에 따르면 청구항 수준 분류기는 청구항과 선행 기술 간의 진정한 의미적 추론을 수행하기보다는 청구항 길이, 참조 번호, 또는 특정 언어적 패턴과 같은 표면적인 단서를 활용하여 높은 정확도를 달성하는 경우가 많습니다.

본 논문은 견고한 신규성 평가 시스템이 특징 수준에서 작동해야 한다고 가정합니다. 즉, 모델은 개별 청구항 특징을 개시하는 선행 기술의 특정 패시지를 식별하고, 어떤 특징이 청구항을 신규하게 만드는지 결정해야 합니다.

방법론

FiNE-Patents 데이터셋

세밀한 평가를 지원하기 위해 저자들은 유럽특허청 (EPO) 심사 기록에서 파생된 3,658 개의 첫 번째 특허 청구항으로 구성된 FiNE-Patents 데이터셋을 소개합니다.

• 출처: 이 데이터셋은 심사관이 신규성 부족으로 초기 출원 (A1) 을 거절하고 가장 근접한 선행 기술 문서 ($D$) 에 대한 상세한 특징 수준의 참조를 제공하는 유럽 검색 의견 (ESOP) 문서에서 구성되었습니다.
• 주석: 유럽 검색 보고서 (ESR) 의 집계된 문단 범위를 사용하는 이전 데이터셋과 달리, FiNE-Patents 는 각 특정 청구항 특징에 대한 정확한 패시지 참조를 추출합니다.
• 편향 완화: 허위 상관관계를 해결하기 위해 저자들은 다음과 같은 조치를 취했습니다:
  • 길이 계층화: 신규 및 비신규 청구항이 동일한 길이 분포를 갖도록 하위 샘플링을 수행했습니다.
  • 참조 번호 제거: 심사 과정에서 종종 추가되며 강력한 단서로 작용하는 참조 번호 (예: "장치 (10)") 를 제거했습니다.
  • 적대적 테스트 세트: 청구항 텍스트만 기반으로 훈련된 표준 BERT 분류기에 의해 오분류되도록 필터링된 278 개의 청구항 하위 집합으로, 단서에 의존하는 모델을 진단하는 데 사용됩니다.

평가 프로토콜

저자들은 세 가지 하위 작업 평가 프레임워크를 제안합니다:

1. 패시지 검색: 각 청구항 특징에 대한 선행 기술 문서에서 관련 패시지를 검색합니다.
2. 신규 특징 식별: 청구항의 어떤 특징이 신규한지 식별합니다 (일반적으로 이의 제기를 극복하기 위해 심사 과정에서 추가된 텍스트에 해당함).
3. 청구항 신규성 예측: 전체 청구항의 이진 신규성 상태를 예측합니다.

LLM 워크플로우

저자들은 DSPy 를 통해 오픈 가중치 모델 (Qwen 시리즈) 을 사용하여 대규모 언어 모델 (LLM) 워크플로우를 구현하고 평가합니다. 두 가지 접근 방식을 비교합니다:

1. 단일 단계 심사: 모델은 전체 청구항과 선행 기술 문서를 수신하고 패시지, 특징 신규성, 청구항 신규성을 포함한 구조화된 응답을 한 단계에서 출력합니다.
2. 계층적 심사: 다단계 프로세스로 다음과 같이 진행됩니다:
   • 청구항을 특징 단위로 분할합니다.
   • 각 특징을 선행 기술과 개별적으로 비교하여 패시지를 검색하고 신규성을 결정합니다.
   • 결과를 집계하여 최종 청구항 수준의 예측을 형성합니다.

주요 결과

패시지 검색 및 특징 식별

• 성능: LLM 기반 워크플로우는 임베딩 기반 베이스라인 (예: Qwen3-8B-Embeddings) 및 어휘 중첩 베이스라인 (ROUGE-L) 보다 훨씬 우수한 성능을 발휘합니다.
• 계층적 이점: 계층적 워크플로우는 패시지 검색 및 신규 특징 식별에서 일관된 개선을 제공합니다. 예를 들어, 30B 모델에서 계층적 심사는 신규 특징 식별의 F1 점수를 38.6 에서 53.7 로 향상시켰습니다.
• 세밀함: 모델 간 성능 차이는 청구항 수준보다 특징 수준에서 더 두드러지는데, 이는 세밀한 평가의 필요성을 입증합니다.

청구항 신규성 예측

• 베이스라인 취약성: 미세 조정된 BERT 분류기는 선행 기술 문서에 접근하지 않고도 테스트 세트에서 75.2% 의 정확도를 달성하여, 활용 가능한 허위 상관관계의 존재를 확인했습니다.
• LLM 견고성: 반면, LLM 워크플로우 (특히 "사고" 모드를 갖춘 것들) 는 견고성을 보여주었습니다. BERT 분류기가 실패한 적대적 테스트 세트에서 평가했을 때, LLM 은 성능을 유지했으며 BERT 분류기와의 일치도가 낮았습니다 (적대적 세트에서 음의 코헨 카파). 이는 LLM 이 데이터셋 단서가 아닌 의미적 추론에 의존함을 시사합니다.
• 예측 편향: 추론이 가능한 모델은 균형 잡힌 예측을 보인 반면, 사고 기능이 없는 Qwen3-30B-Instruct 는 극단적인 편향을 보여 청구항의 3.2% 만을 신규로 예측했습니다.
• 한계: 계층적 심사는 청구항 수준 예측 정확도를 향상시키지 못했고, 일부 경우에는 이를 감소시켰습니다 (예: 30B 모델의 경우 정확도가 57.9% 로 하락). 이는 중간 요약이 노이즈를 유발할 수 있음을 시사합니다.

중요성 및 기여

본 논문은 다음과 같은 기여를 주장합니다:

1. 패러다임 전환: 특허 신규성에 대한 이진 분류 패러다임에 도전하며, 투명성과 실용적 유용성을 보장하기 위해 특징 수준 검색 및 추론으로의 전환을 주장합니다.
2. FiNE-Patents 데이터셋: ESOP 문서에서 추출된 세밀한 특징 수준의 선행 기술 참조를 갖춘 최초의 데이터셋을 제공하여 모델 추론의 엄격한 평가를 가능하게 합니다.
3. 견고성 증거: 전통적인 분류기는 특허 데이터의 허위 상관관계에 취약한 반면, 구조화된 추론을 수행하도록 프롬프트된 LLM 은 이러한 단서에 대해 견고할 수 있음을 입증합니다.
4. 실행 가능한 AI: 제안된 워크플로우는 불투명한 이진 레이블을 제공하는 대신 예측을 특정 소스 패시지와 명시적으로 연결함으로써 특허 심사관에게 투명하고 검증 가능한 지원을 제공하는 AI 시스템으로 가는 길을 제시합니다.

저자들은 절대적인 성능 수준은 여전히 개선이 필요하지만, LLM 이 허위 상관관계를 피하고 세밀한 분석을 수행할 수 있는 능력이 신뢰할 수 있고 투명한 특허 분석 도구로 나아가는 중요한 단계라고 결론지었습니다.