Geometry of Lightning Self-Attention: Identifiability and Dimension
이 논문은 대수 기하학을 사용하여 비정규화된 셀프 어텐션 네트워크의 함수 공간을 분석하며, 이들의 식별 가능성과 차원을 확립하고 특이점을 규명하는 한편 정규화된 아키텍처에 대해서도 이러한 결과들을 추측한다.
Gist.Science에 오신 것을 환영합니다
arXiv, bioRxiv, medRxiv의 최신 논문을 읽고 이해하기 쉬운 설명, 핵심 요점, 기술 요약을 제공합니다 — 10개 언어로.
컴퓨터(신경망)에게 고양이를 인식하는 법을 가르치고 있다고 상상해 보세요. 이를 위해 당신은 컴퓨터의 수백만 개에 달하는 아주 작은 조절 나사(가중치)를 조정해야 합니다. 당신의 목표는 컴퓨터가 실수를 최소한으로 할 수 있도록 이 나사들을 돌리는 것입니다.…
논문은 너무 많고, 시간은 너무 부족합니다. 연구 관심사에 정확히 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.
이 논문은 대수 기하학을 사용하여 비정규화된 셀프 어텐션 네트워크의 함수 공간을 분석하며, 이들의 식별 가능성과 차원을 확립하고 특이점을 규명하는 한편 정규화된 아키텍처에 대해서도 이러한 결과들을 추측한다.
이 논문은 이진 트리 성장을 비라벨링 트리 및 망델브로트 다항식과 동적 과정을 연결하는 이산 진화 규칙을 통해 모델링하는 새로운 조합론적 프레임워크를 소개하며, 궁극적으로 정해진 프로파일을 가진 트리를 생성하기 위한 최적의 반복 샘플러 개발을 가능하게 한다.
이 논문은 비진동적 비율(non-oscillatory rates)에 대해 거의 필요조건에 가까운 순수 탄생 크럼프-모드-제이거스(Crump–Mode–Jagers) 분기 과정의 비폭발성을 위한 명시적인 충분 조건을 확립하는 동시에, 무한한 경로를 가지나 무한한 차수의 정점은 없는 선호 부착 트리를 구축함으로써 미해결 문제를 해결하는 반례를 제공한다.
이 논문은 임의의 순서 벡터 공간으로 조건부 확률을 일반화하여 정적 또는 불변 벡터 가격 책정을 허용하는 군을 특징짓고, 이를 통해 아메나빌리티와 원뿔 내 고정점에 대한 새로운 기준을 확립한다.
이 논문은 의 유한 차수 확장체 위에서 정의된 타원 곡선으로부터 발생하는 모든 관성 와일-델린 유형(inertial Weil-Deligne types)을 분류하고 이를 계산하기 위한 명시적인 알고리즘을 제공하며, 차수가 최대 3인 확장체에 대한 이러한 유형들을 완전히 결정한다.
이 논문은 과학적 기계 학습 벤치마크를 통한 실험으로 검증된 원리인, 프리컨디셔너 유도 메트릭의 국소적 컨디셔닝을 개선함으로써 수렴 속도를 최적화하는 동시에 확률적 노이즈 플로어를 최소화하는 SGD 프리컨디셔너를 설계하기 위한 이론적 프레임워크를 구축한다.
이 논문은 중첩된 알고리즘 구조를 통해 고전적인 선형 GCR 유형의 솔버를 비선형 및 행렬 값 근 찾기 문제로 일반화하여, 정확한 라인 서치 없이도 엄격한 수렴 보장을 제공하고 수치 실험에서 견고한 효율성을 입증하는 통합 프레임워크인 nlKrylov를 소개한다.
이 논문은 (3,5) 차수의 비-Moufang 일반화 사각형(generalized quadrangle) 상의 유일한 챔버-정규 작용(chamber-regular action)을 활용하여, 칸토어의 추측(Kantor's conjecture)을 가정할 때 그러한 격자들의 완전한 분류를 도출하는 국소 유한 -빌딩 상의 이국적인 챔버-정규 격자(exotic, chamber-regular lattices)에 대한 첫 번째 예시들을 구축한다.
이 논문은 지식 그래프의 구체적인 기저 데이터 표현 방식과 독립적으로 지식 그래프의 구조와 의미론을 정의하기 위해 설계된 개념 스키마 언어인 KG-ER을 소개한다.
이 논문은 준무한 타이트 바인딩 사슬(semi-infinite tight-binding chain)에서 랭크 1 경계 결함의 프레드홀름 지수(Fredholm index)가 사이트별 코호몰로지 지수 밀도로 분해될 수 있으며, 전체 지수는 벌크 극한에 의해 결정되고 결합 매개변수가 1을 통과할 때 특정 경계 프로파일과 무관하게 위상적 전이를 보인다는 점을 입증한다.
이 논문은 개선된 지수 부등식을 활용하여 스토트(Stout) 유형의 결과를 도출하고 이어서 하트만-빈트너(Hartman-Wintner) 유형의 결과를 도출함으로써, 마팅게일과 독립 확률 변수 수열 모두에 대한 고전적인 반복 로그 법칙의 최적의 비가환 유사체를 확립한다.