기술적 요약: 트랜스포머의 문법

문제 제기

굴로르다바 등 (2018) 이 언어 모델 (LMs) 이 토큰 예측만으로 훈련되었음에도 불구하고 비자명한 구문 지식을 습득한다는 관찰 이후, 이러한 지식의 본질과 범위를 규명하려는 연구가 꾸준히 증가해 왔습니다. 그러나 트랜스포머 기반 언어 모델 (TLMs) 에 내재된 구문 지식에 대한 일반적이고 정량적인 그림은 여전히 부재한 상태입니다. 기존 문헌은 대부분 서술적 검토 (예: 리미시예비치와 마레체크, 2020; 린젠과 바로니, 2021; 쿨미제프와 니브레, 2022) 로 구성되어 있는데, 이는 가치가 있지만 해석적이며 최근 연구의 급속한 확장에 따른 연구 결과의 지형을 매핑하는 데 필요한 투명한 정량적 종합이 부족합니다. 더 나아가, 이 분야는 방법론적 이질성과 영어 및 특정 모델 아키텍처 (특히 BERT) 에 대한 집중적 초점으로 특징지어지며, 이는 현재 결론의 견고성과 일반화 가능성을 제한합니다.

방법론

저자들은 계산 언어학 (CL) 과 자연어 처리 (NLP) 에서 일반적으로 적용되지 않는 PRISMA 가이드라인 (페이지 등, 2021) 에 따라 체계적인 검토를 수행했습니다. 과정은 다음과 같습니다:

1. 데이터 수집 (2025 년 여름): 후보를 식별하기 위해 이중 전략을 사용했습니다. 구글 스칼라에서 "구문 구조/지식"과 "LLMs/LMs/transformer"를 결합한 키워드 검색과 6 개의 이전 검토를 활용한 눈덩이 표집 전략입니다. 이를 통해 636 편의 초기 논문이 도출되었습니다.
2. 자격 평가: 논문은 트랜스포머 아키텍처에 초점을 맞춘 것 (RNN, LSTM, 인코더 - 디코더 기계 번역 모델 제외), 구문 지식을 경험적으로 평가한 것, 그리고 동료 검토를 거친 출판물이나 사전 출판물 (preprints) 에 게재된 것으로만 필터링되었습니다. 이로써 최종 코퍼스인 337 편의 논문이 확정되었습니다.
3. 주석 달기: 저자들은 5 가지 범주에 걸쳐 33 개의 주석 변수를 정의했습니다.
   • 메타데이터: 출판 세부 사항 및 진입/탈출 사유.
   • 모델 관련: 모델 이름, 유형 (양방향 vs. 인과적), 파인튜닝 상태, 언어 범위.
   • 실험 설계: 구문 현상 (하향식 접근을 통해 11 개의 레이블로 분류), 테스트된 언어, 자료.
   • 해석 가능성 기법: 행동적, 프로빙, 또는 기계적 (밀리에르, 2024 에 따름) 으로 분류되었으며, 인과적 성격 (관찰적 vs. 개입적), 훈련 단계, 국소성에 대한 추가 주석이 포함되었습니다.
   • 결과: 구문 능력과 모델 비교에 대한 산문 요약.
   • 참고: 28 개 범주는 수동으로 주석 달아졌으며, 5 개 범주는 수동 골드 스탠다드에 대해 검증된 AI 지원 워크플로우를 사용하여 반자동으로 처리되었습니다.

주요 기여

1. 정량적 종합: 이 논문은 언어, 현상, 방법을 아우르는 3,074 개의 개별 데이터 포인트를 집계한 TLMs 의 구문 지식에 대한 최초의 체계적이고 정량적인 검토를 제공합니다.
2. 오픈 리소스: 저자들은 확장 가능하도록 설계된 검토된 연구들의 공개적으로 이용 가능한 주석 데이터베이스와 관련 분석 코드를 기여했습니다.
3. 현상의 분류 체계: 이 연구는 언어학과 NLP 커뮤니티 모두에게 인식 가능한 11 개의 구문 현상 레이블에 대한 하향식 유형론을 확립하여 연구 간 비교를 용이하게 합니다.
4. 방법론적 감사: 이 검토는 해석 가능성 방법 (행동적, 프로빙, 기계적) 의 분포를 비판적으로 평가하고, 인과적 접근법보다 관찰적 접근법에 대한 분야의 과도한 의존성을 강조합니다.

주요 결과

1. 분야 지형과 편향

• 시간적 추세: BERT(2019 년) 이후 이 주제에 대한 관심이 급증하여 2022 년에 정점을 찍었습니다. 초기 연구는 양방향 모델에 초점을 맞췄지만, 최근 몇 년간은 인과적 모델이 지배적입니다.
• 모델 편향: 문헌은 BERT 와 그 변형에 집중되어 있으며, 이는 모든 데이터 포인트의 58% 를 차지합니다. 가장 많이 연구된 4 개 모델은 62% 를 차지합니다.
• 언어 편향: 영어가 압도적으로 지배적입니다 (논문의 69% 가 영어 전용; 91% 가 영어를 포함). 비영어권 언어에 대한 연구는 희소하며, 다국어 연구는 과소 대표되어 있습니다 (20%).
• 현상 편향: 연구는 현재 NLP 도구로 쉽게 포착될 수 있는 형식적 구문 현상(예: 일치, 어순, 계층적 구조, 품사) 에 집중되어 있습니다. 구문 - 의미 인터페이스(예: 결합, 공참조, 부정, 생략) 와 유형론적 측면에 대한 연구는 상대적으로 훨씬 덜 주목받고 있습니다.

2. 행동적 성능

• BLiMP 벤치마크: 영어 BLiMP 벤치마크에서 TLMs 는 놀라운 성과를 보였으며, 최상위 모델들은 11 개 카테고리 중 7 개에서 인간 성능과 일치하거나 초과했습니다. 그러나 성능은 모델 간에 크게 달라졌으며, 이는 현상별 강점보다는 전반적인 모델 능력에 의해 주로 주도되었습니다.
• 형식적 vs. 인터페이스: TLMs 는 형식적 구문 관계 (일치의 중앙값 >85%) 에서 구문 - 의미 인터페이스 현상 (결합, 논항 구조, NPI 의 중앙값 <75%) 보다 일관되게 더 좋은 성능을 발휘합니다.
• 언어 간 요인: 113 개 언어에 걸친 1,557 개의 비벤치마크 데이터 포인트에 대한 회귀 분석 결과, 인과적 모델이 양방향 모델보다 약 10% 더 우수한 성능을 보였으며, 성능은 디지털 언어 지원에 따라 긍정적으로 증가했습니다 (지원 수준당 5% 향상). 저자원 언어는 성능이 저하되었습니다.

3. 내부 메커니즘 (프로빙 및 기계적 연구)

• 프로빙: 프로빙 연구의 85% 는 모델 표현에서 구문 정보를 성공적으로 복원했다고 보고했습니다. 중간 레이어가 구문 지식의 위치로 가장 빈번하게 지목되어 분산된 표현 관점을 지지합니다.
• 기계적 연구: 기계적 논문의 79% 는 구문 지식의 존재를 뒷받침하는 명확한 증거를 발견했습니다. 그러나 이러한 연구는 압도적으로 관찰적입니다 (81%); 내부 표현과 행동 간의 인과적 관계를 확립하기 위해 개입적 방법을 사용하는 연구는 19% 에 불과합니다.
• 방법론적 격차: 프로빙 성공 (높은 복원율) 과 행동적 성능 (현상별 변동) 사이에는 불일치가 존재하며, 이는 성공적인 프로빙이 반드시 예측을 위한 표현의 기능적 사용을 의미하지는 않음을 시사합니다.

중요성과 주장

이 논문은 현재 문헌이 TLMs 가 비자명한 양의 구문 지식을 인코딩한다는 견해를, 특히 형식적 구문 관계와 관련하여 강력하게 지지한다고 주장합니다. 그러나 저자들은 다음과 같은 이유로 이 분야의 결론이 현재 제한받고 있음을 강조합니다:

1. 인과적 증거의 부재: 관찰적 방법의 지배는 구문 표현이 계산적으로 어떻게 사용되는지에 대한 깊은 이해를 방해합니다.
2. 제한된 일반화 가능성: 영어와 BERT 유사 모델에 대한 집중적 초점은 연구 결과의 언어와 아키텍처의 더 넓은 지형에 대한 적용 가능성을 제한합니다.
3. 분열된 현상: 모델들이 이러한 영역에서 더 약한 성능을 보임에도 불구하고, 구문 - 의미 인터페이스는 여전히 미탐구 상태로 남아 있습니다.

저자들은 TLMs 가 놀라운 구문 능력을 보유하고 있지만, 이러한 지식의 습득, 사용, 보편성을 이해하기 위해서는 방법론적 조화, 더 명시적인 이론적 약속, 그리고 영어와 순수 관찰적 연구를 넘어선 더 넓은 경험적 지형이 필요하다고 결론지었습니다. 그들은 이 검토를 향후 연구의 기반으로 위치시키고, 커뮤니티가 오픈 데이터베이스에 기여하고 제안된 주석 표준을 채택할 것을 요청합니다.