기술적 요약: 특허 표현 학습을 위한 이질적 의존성 그래프 기반 어텐션

문제 제기

사전 훈련된 언어 모델 (PLM) 은 청구항을 평탄한 토큰 시퀀스로 인코딩함으로써 특허 분류 및 검색을 발전시켰습니다. 그러나 이 접근법은 특허 청구항 간의 고유한 지향적 의존성 계층 구조를 간과합니다. 특허 문서에서 종속 청구항은 선행 청구항의 제한 사항을 상속받고 더 좁은 기술적 세부 사항을 추가하여, 인접한 텍스트가 반드시 관련이 있는 것은 아니지만 먼 청구항들이 의존성 참조를 통해 직접 연결될 수 있는 구조를 생성합니다.

현재의 PLM 기반 인코더 (예: BERT-for-Patents, PatentBERT) 는 토큰 수준에서 작동하여 의미적 상관관계를 포착하지만 명시적인 법적 의존성을 인코딩하지는 못합니다. 구조적으로 근접하지만 관련 없는 청구항들을 혼동함으로써 법적 범위와 기술적 의존성이 모호해집니다. 또한, 계층 구조를 자기 어텐션에 통합하는 것은 두 가지 구체적인 과제를 제시합니다:

1. 이질적 신뢰도: 청구항 의존성은 신뢰도가 다양한 관계 유형을 포함합니다. 노이즈가 있는 기술적 관계를 깨끗한 법적 인용 신호와 무분별하게 취급하면 표현이 손상될 수 있습니다.
2. 세분성 불일치: 청구항으로 정의된 의존성 그래프는 Transformer 의 토큰 수준 연산과 정렬되지 않습니다. 청구항 수준의 인접성을 브로드캐스트하면 관련 없는 토큰 쌍에 걸쳐 구조적 정보가 희석될 수 있습니다.

기존의 그래프 기반 접근법들은 종종 구조를 문서 수준의 외부 감독이나 보조 입력으로 취급할 뿐, 청구항 수준의 의존성을 인코더의 표현 흐름에 직접 주입하지는 않습니다.

방법론: PHAGE

저자들은 사전 훈련된 인코더의 자기 어텐션 메커니즘에 청구항 수준의 의존성 구조를 직접 통합하는 특허 이질적 어텐션 기반 그래프 인코더 (PHAGE) 를 제안합니다. 이 프레임워크는 세 단계로 작동합니다:

1. 이질적 청구항 의존성 그래프 (CDG) 구축

PHAGE 는 노드가 청구항이고 에지가 의존성을 나타내는 결정론적 이질적 유방향 비순환 그래프 (DAG) $G = (V, E, \psi)$를 구축합니다. 에지 집합은 추출 신뢰도의 변이를 처리하기 위해 네 가지 명확한 관계 유형으로 분류됩니다:

• $r_{cite}$ (명시적 인용): 공식적인 법적 참조 (예: "청구항 1 의 방법...") 에서 파생됩니다. 이는 거의 결정적입니다.
• $r_{term}$ (기술 용어 흐름): 부정 관사를 통한 기술 명사구의 도입과 그 후의 참조 (정관사/지시사) 를 추적합니다.
• $r_{func}$ (기능적 결합): 동사 - 목적어 삼중항의 구문 분석을 통해 기능적 관계를 포착합니다 (예: "결합하다", "연결하다").
• $r_{both}$: 용어 흐름과 기능적 결합 신호가 동시에 발생할 때 할당되며, 고신뢰도 신호로 작용합니다.

그래프는 각 관계 유형에 대한 별도의 인접 행렬 $\{A^{(r)}\}$로 표현되어 모델이 각 유형에 대한 차별적 가중치를 학습할 수 있게 합니다.

2. 관계 인식 어텐션 메커니즘

PHAGE 는 CDG 를 Transformer 인코더 (특히 BERT-for-Patents) 의 자기 어텐션 메커니즘에 두 가지 구성 요소를 사용하여 주입합니다:

• 연결성 마스크 ($C$): 구조적으로 관련된 청구항으로 어텐션을 제한하는 하드 구조 게이트입니다. 토큰 쌍 $(u, v)$가 CDG 에서 연결된 청구항 쌍에 해당하지 않으면 어텐션 점수가 $-\infty$로 마스크됩니다. [CLS] 토큰은 문서 수준의 비제약 집계를 보장하기 위해 예외로 처리됩니다.
• 학습 가능한 관계 인식 편향 ($B^{(l)}$): 어텐션 로짓에 추가되는 경량의 학습 가능한 스칼라 매개변수 집합입니다. 이러한 편향은 특정 에지 유형 ($r \in \{r_{cite}, r_{term}, r_{func}, r_{both}\}$) 과 레이어 깊이 $l$에 조건부로 설정됩니다. 이는 모델이 모델 용량을 크게 증가시키지 않고 (레이어당 스칼라 매개변수 5 개만 추가) 의존성 의미에 따라 정보 흐름의 강도를 조절할 수 있게 합니다.

3. 이중 세분성 대비 미세 조정

임베딩 공간을 정제하기 위해 PHAGE 는 두 수준의 감독을 결합한 공동 목적 함수를 사용합니다:

• 문서 수준 목적 함수 ($L_{doc}$): 대비 손실을 사용하여 국제 특허 분류 (IPC) 분류 체계에 기반한 특허 표현을 정렬합니다 (동일한 하위 분류의 특허를 끌어당기고 다른 하위 분류의 특허를 밀어냄).
• 청구항 수준 목적 함수 ($L_{claim}$): CDG 에 기반하여 이 손실은 청구항 간의 위상적 근접성을 강제합니다. 핵심적으로, 이는 각 관계 유형에 학습 가능한 가중치 $w_r$를 할당하여 모델이 에지 유형의 신뢰도에 따라 정렬 압력을 보정할 수 있게 합니다.

최종 손실은 $L = L_{doc} + \lambda L_{claim}$입니다.

주요 기여

1. 내부 문서 청구항 위상을 유도적 편향으로: 저자들은 청구항 간의 지향적 의존성 계층 구조가 기존 인코더에 의해 폐기된 정보 신호임을 규명했습니다. PHAGE 는 이를 보조 입력으로 취급하는 대신 이 위상을 인코더의 표현 흐름에 직접 주입합니다.
2. 위상 주입 특허 인코더: 결정론적 이질적 그래프 구축 파이프라인과 연결성 마스크 및 학습 가능한 관계 인식 편향을 결합하여 청구항 수준의 의존성을 자기 어텐션에 통합하는 새로운 아키텍처입니다.
3. 구조적 유도 편향에 대한 실증적 발견: 실험은 특허 내부 청구항 위상이 특허 간 인용 구조보다 더 강력한 유도 편향을 제공함을 입증했습니다. 또한, 학습된 구조적 사전 지식은 모델 가중치에 내재화되어 추론 시 그래프 구축 없이도 효과적으로 작동할 수 있게 합니다.

실험 결과

PHAGE 는 CLEF-IP, USPTO-70k, DAPFAM 데이터셋을 사용하여 특허 분류, 검색, 클러스터링 세 가지 작업에서 평가되었습니다. 평가 프로토콜은 관계 인식 편향과 대비 가중치만 최적화하는 동결된 인코더를 사용하여 베이스라인과의 공정한 비교를 보장했습니다.

• 분류: PHAGE 는 도메인 적응 모델 (BERT-for-Patents) 과 인용 인식 모델 (PaECTER, PatEmbed) 을 포함한 모든 베이스라인을 능가했습니다. CLEF-IP 에서 Macro-F1 점수 0.635를 달성하여 BERT-for-Patents 대비 +9.7 의 유의미한 개선을 보였습니다. 특히, 임베딩에 사후적으로 적용된 그래프 신경망 (GNN) 베이스라인은 성능을 저하시켰는데, 이는 구조를 인코더에 직접 주입하는 것이 후처리보다 우월함을 시사합니다.
• 검색: DAPFAM 벤치마크에서 PHAGE 는 NDCG@100 0.498을 달성하여 가장 좋은 인용 인식 베이스라인 (QaECTER, 0.379) 보다 11.9 포인트, BERT-for-Patents 보다 27.0 포인트 더 높은 성능을 보였습니다.
• 클러스터링: PHAGE 는 CLEF-IP 에서 가장 높은 NMI(0.653) 와 동질성 (0.704) 을 달성하여 청구항 수준 위상이 클러스터 내부 순도를 선명하게 함을 나타냈습니다.

Ablation 연구는 다음을 확인했습니다:

• 구조 주입 (CDG + 어텐션) 이 성능 향상의 주요 동인입니다.
• 하드 연결성 마스크가 소프트 관계 편향보다 더 중요하지만, 둘 다 기여합니다.
• 학습 가능한 관계 가중치는 일관된 이득을 제공하며, 모델은 하위 레이어에서는 암시적 관계를 상향 가중하고 상위 레이어에서는 청구항 내부 편향을 증폭하도록 학습합니다.

중요성 및 주장

본 논문은 특허 표현 학습의 구조적 병목 현상이 특허 사이 (특허 간 인용 네트워크) 가 아니라 특허 내부 (내부 문서 청구항 위상) 에 있음을 주장합니다.

저자들이 강조한 주요 발견 사항은 다음과 같습니다:

1. 내부 문서 구조의 우월성: 특허 내부 의존성만 사용함에도 불구하고, PHAGE 는 수백만 개의 심사관 검증 특허 간 링크를 활용하는 인용 인식 베이스라인을 능가합니다. 이는 단일 특허 내에서의 명시적 상속과 범위 축소가 표현 학습을 위한 더 강력한 신호를 제공함을 시사합니다.
2. 구조적 편향의 내재화: 모델은 훈련 중 구조적 유도 편향을 성공적으로 내재화합니다. 추론 시 PHAGE 는 그래프 구축 없이 표준 순방향 통과로 작동하지만, 거의 모든 성능 향상을 유지합니다. 이는 배포 중 그래프 구축의 계산 오버헤드를 제거합니다.
3. 깊이별 전문화: 학습된 편향은 Transformer 레이어 간 전문화를 유도하며, 하위 레이어는 청구항 간 집합에 집중하고 상위 레이어는 청구항 내부 표현을 정제합니다.

저자들은 PHAGE 가 복잡한 법적 및 기술적 의존성을 모델 매개변수에 내재화하여 추론 시 외부 그래프 구조가 필요 없게 함으로써 기존 도메인 적응 및 인용 인식 접근법을 크게 능가하는 확장 가능한 특허 분석 솔루션을 제공한다고 결론지었습니다.