Kathleen: Oscillator-Based Byte-Level Text Classification Without Tokenization or Attention
本論文は、トークナイザーやアテンション機構を不要とし、周波数領域処理と 3 つの新たなコンポーネント(RecurrentOscillatorBanks、FFT-Rotate Wavetable Encoder、PhaseHarmonics)を活用して、わずか 73 万パラメータでバイトレベルのテキスト分類を O(L) の計算量で実現し、大規模なトランスフォーマーモデルを上回る性能を達成する「Kathleen」というアーキテクチャを提案しています。