Kathleen: Oscillator-Based Byte-Level Text Classification Without Tokenization or Attention
Das Paper stellt Kathleen vor, eine hocheffiziente Textklassifizierungsarchitektur, die ohne Tokenisierung oder Aufmerksamkeitsmechanismen direkt auf Roh-UTF-8-Bytes im Frequenzbereich operiert und dabei durch innovative Komponenten wie RecurrentOscillatorBanks und PhaseHarmonics bei nur 733.000 Parametern die Leistung von deutlich größeren, tokenbasierten Transformer-Modellen übertrifft.