Technische Samenvatting: FastOmniTMAE

Probleemstelling

Hoewel diep-leringsarchitecturen zoals BERT de Natural Language Processing (NLP)-embeddingtaken domineren, lijden ze onder ondoorzichtigheid en hoge rekenkosten. Omgekeerd biedt de Tsetlin Machine (TM) een transparant, logisch gebaseerd alternatief met inherente interpreteerbaarheid. Echter, bestaande op TM gebaseerde embeddingmodellen, specifiek de Omni Tsetlin Machine Autoencoder (Omni TM-AE), ondervinden aanzienlijke knelpunten in trainings-efficiëntie.

De belangrijkste beperkingen die zijn geïdentificeerd in de originele Omni TM-AE zijn:

1. Sequentiële trainingsafhankelijkheden: Het trainingsproces is afhankelijk van een globale class_sum-berekening. Voordat een clausule kan worden bijgewerkt, moeten alle clausules worden geëvalueerd om een gewogen som te berekenen, wat een synchronisatieknelpunt creëert dat parallelle uitvoering verhindert.
2. Hardware-mismatch: TM-operaties vertrouwen sterk op eenvoudige logische operaties (EN, OF, NIET, XOR) in plaats van drijvende-kommabewerkingen. Dit maakt TM-training inefficiënt op moderne GPU's (bijv. NVIDIA H100), die zijn geoptimaliseerd voor dichte drijvende-kommaberekeningen (FMA) en aanzienlijke hardwarebronnen onderbenut laten.
3. Trainingsduur: Originele trainingtijden kunnen oplopen tot meerdere dagen of zelfs maanden voor grote datasets, wat de praktische toepassing beperkt.

Methodologie

De auteurs stellen FastOmniTMAE voor, een herformulering van de Omni TM-AE die is ontworpen om evaluatie- en updateprocessen te ontkoppelen, waardoor parallelle uitvoering mogelijk wordt.

Algoritmisch herontwerp

• Verwijdering van globale afhankelijkheden: De auteurs analyseerden het class_sum-mechanisme en stelden vast dat hoewel het convergentie begeleidt in kleinschalige toepassingen, het niet strikt noodzakelijk is voor het bereiken van hoogwaardige embeddings in grootschalige NLP-taken. Zij vonden dat de kwaliteit van embeddings sterker correleert met data-rijkdom dan met specifieke convergentiegedragingen die worden gedreven door class_sum.
• Tweestaps parallel proces: FastOmniTMAE vervangt de sequentiële afhankelijkheid door een tweestapsproces:
  1. Evaluatie: Clausules evalueren invoerexamples onafhankelijk.
  2. Update: Updatekansen worden lokaal berekend op basis van individuele clausule-uitkomsten in plaats van een globale som.
• Convergentiestrategie: In plaats van te vertrouwen op class_sum om updatesnelheden te verlagen, traint het model voor een voldoende aantal epochs. De auteurs merken op dat hoewel toestandsverdelingen in de automatenruimte veranderen tijdens het trainen, er nog geen directe correlatie is vastgesteld tussen deze verdelingen en de kwaliteit van embeddings, wat suggereert dat trainen met een vast aantal epochs momenteel een betrouwbaarder stopcriterium is.

Hardware-implementatie

Om de inefficiëntie van TM op GPU's aan te pakken, hebben de auteurs FastOmniTMAE geïmplementeerd als een herbruikbare Intellectuele Eigendom (IP)-kern op System-on-Chip (SoC) FPGA-platforms (specifiek Zynq-7000 en Zynq UltraScale+ MPSoC).

• Architectuur: Het ontwerp maakt gebruik van een Processing System (PS) voor hostbesturing en een Programmable Logic (PL)-sectie voor de versneller.
• Communicatie: Het maakt gebruik van AXI-Lite voor besturingssignalen en AXI-MM voor hoogdoorvoergegevensbeweging tussen DDR-geheugen en on-chip buffers (BRAM/URAM).
• Logica: De versneller voert logische operaties direct uit met behulp van hardwarelogische poorten, waarbij de drijvende-komma-eenheden die GPU-architecturen domineren, worden omzeild. Deze aanpak minimaliseert stroomverbruik en latentie terwijl parallelisme wordt gemaximaliseerd via meerdere trainingsmotoren.

Belangrijkste bijdragen

1. FastOmniTMAE-architectuur: Een nieuw model dat trainsnelheid verbetert door globale synchronisatieknelpunten te verwijderen, terwijl het een vergelijkbare embeddingkwaliteit behoudt als Omni TM-AE.
2. Single-Run Multi-Environment Benchmark: Een speciale benchmarksuite die de kwaliteit van embeddings evalueert over classificatie-, semantische gelijkenis- en clusteringtaken.
3. Hardware-efficiëntieanalyse: Een uitgebreide analyse die de inefficiëntie van GPU-gebaseerde TM-training aantoont door architecturale mismatches en de superieure efficiëntie van logisch gebaseerde hardware.
4. Eerste full-scale FPGA-training: De eerste implementatie van de training van een full-scale op TM gebaseerd embeddingmodel op FPGA-hardware voor NLP.
5. Multi-Hardware Benchmark: Een vergelijkende studie over CPU's, GPU's en SoC-FPGA-platforms om prestaties en schaalbaarheid te valideren.

Resultaten

Software-prestaties (Single-Run Multi-Environment Benchmark)

Geëvalueerd op een NVIDIA DGX H100-server:

• Trainsnelheid: FastOmniTMAE behaalde een 5× snelheidswinst ten opzichte van Omni TM-AE in classificatietaken (310 seconden versus 1709 seconden voor 100 epochs).
• Classificatie: FastOmniTMAE behield stabiele F1-scores boven de 0,6, terwijl Omni TM-AE een geleidelijke daling liet zien naar 0,56, toegeschreven aan de restrictieve updatesnelheden van het class_sum-mechanisme.
• Semantische gelijkenis: Op de RG65-, MTurk-, WordSim353- en MEN-datasets behaalde FastOmniTMAE vergelijkbare of superieure resultaten ten opzichte van Omni TM-AE, Word2Vec, GloVe en FastText.
  • Kendall-correlatie: FastOmniTMAE (CPU) behaalde de hoogste gemiddelde score ($\tau = 0,392$).
  • Spearman-correlatie: FastOmniTMAE (CPU) behaalde $\rho = 0,537$, iets achter FastText ($\rho = 0,550$) maar beter presterend dan Omni TM-AE ($\rho = 0,543$).
• GPU-prestaties: Training op de NVIDIA H100 via CUDA was 0,18× zo snel als de CPU-implementatie, wat de architecturale mismatch tussen GPU's en TM-logica bevestigt.

Hardware-prestaties (Multi-Hardware Benchmark)

Geëvalueerd op de RG65 44-token workload:

• FPGA-efficiëntie: Het ZCU104 SoC-FPGA-bord (12 parallelle motoren) behaalde een 7,08× snelheidswinst ten opzichte van zijn lokale ARM CPU-tegenhanger, met een traintijd van 119,9 seconden.
• Embeddingkwaliteit op hardware: De ZCU104 FPGA behaalde een Spearman-correlatie van 0,696, beter presterend dan de CPU-baseline (0,680). Het Zybo-bord met beperkte middelen (2 motoren) behaalde 0,669, wat schaalbaarheid demonstreert.
• CPU versus GPU: Geïntegreerde Intel GPU's en NVIDIA H100 GPU's presteerden aanzienlijk slechter dan hun respectievelijke CPU-tegenhangers (0,22× en 0,18× snelheidswinst, respectievelijk), wat de noodzaak van dedicated logisch gebaseerde hardware bevestigt.

Betekenis en claims

Het artikel claimt dat FastOmniTMAE het knelpunt in trainings-efficiëntie van logisch gebaseerde embeddingmodellen succesvol oplost zonder kwaliteit in te leveren. Door evaluatie en updates te ontkoppelen, maakt het model parallelle verwerking mogelijk die van nature geschikt is voor hardwareversnelling.

De auteurs benadrukken dat de SoC-FPGA-implementatie bijzonder significant is, omdat het aantoont dat op TM gebaseerde embeddingtraining efficiënt kan worden uitgevoerd op hardware met beperkte middelen met een kleine rekenfootprint. Dit valideert het potentieel voor het implementeren van transparante, interpreteerbare AI-modellen in randomgevingen waar diep-leringsmodellen vaak te groot of te energievretend zijn. Het werk stelt vast dat voor logisch gebaseerd leren, dedicated hardware (FPGA) superieur is aan general-purpose versnellers (GPU's) die zijn ontworpen voor drijvende-kommaberekeningen.