Photonic Extreme Learning Machines using Event-Based detection

Résumé Technique : Machines d'Apprentissage Extrême Photoniques utilisant la Détection par Événements

Énoncé du Problème
Les Machines d'Apprentissage Extrême Photoniques (PELM) offrent une voie vers un calcul optique économe en énergie et évolutif en utilisant la propagation optique aléatoire, la non-linéarité de la détection et une lecture linéaire entraînée pour contourner l'entraînement de la couche cachée. Cependant, les implémentations conventionnelles de PELM reposent sur la détection d'intensité à l'aide de caméras CCD ou CMOS. Cette approche contraint la dimensionnalité de l'espace de représentation caché, particulièrement lorsque l'espace des caractéristiques d'entrée est de faible dimension. Dans ces cas, les capacités de généralisation intrinsèques des PELM sont souvent limitées par les propriétés de la détection de la loi du carré et la nécessité de régularisations supplémentaires pour filtrer le bruit, ce qui réduit efficacement le rang utilisable de la matrice de sortie de la couche cachée. Il existe un besoin pour des mécanismes de lecture alternatifs capables de fournir des représentations cachées plus riches et de dimensionnalité supérieure sans les contraintes des réponses de saturation standard basées sur l'intensité.

Méthodologie
Ce travail propose et valide expérimentalement une architecture de Machine d'Apprentissage Extrême Photonique basée sur les événements (EV-PELM). Le système remplace la détection d'intensité conventionnelle par une caméra à événements asynchrones (Capteur de Vision Dynamique, DVS).

• Configuration Optique : Les caractéristiques d'entrée sont encodées sur le profil d'amplitude d'un faisceau optique à l'aide d'un Dispositif Micro-Miroir (DMD). Le faisceau se propage à travers une fibre multimode, qui agit comme un milieu complexe pour implémenter des poids linéaires aléatoires et un biais via la génération de speckle.
• Détection par Événements : Au lieu de mesurer l'intensité absolue, la caméra à événements détecte les changements de log-intensité. Un événement est enregistré à un pixel lorsque le changement de log-intensité dépasse un seuil réglable $C$. La log-intensité par pixel est modélisée par $L(X) = \log(|\bar{w} \cdot E^{(in)}(X) + b|^2 + B)$.
• Représentations Cachées : Le flux d'événements brut (adresses des pixels, horodatages, polarités) est converti en trois représentations cachées par pixel ($\phi$) :
  1. Temps du Premier Événement : L'horodatage du premier événement à chaque pixel.
  2. Activation Binaire : Un indicateur binaire indiquant si un pixel a émis un signal pendant la fenêtre d'acquisition.
  3. Nombre d'Événements : Le nombre total d'événements enregistrés par chaque pixel.
• Lecture (Readout) : Une couche de lecture linéaire entraînée est appliquée à ces représentations en utilisant soit la régression de Ridge, soit la pseudo-inverse de Moore-Penrose. La dimensionnalité effective du système est analysée en balayant le paramètre de régularisation $\lambda$ et en observant la dépendance de la dimensionnalité effective ($d_{eff}$) vis-à-vis des valeurs singulières de la matrice de sortie de la couche cachée.

Contributions Clés

• Nouveau Paradigme de Détection : L'article introduit l'utilisation de caméras à événements pour générer des réponses de log-intensité seuillées distinctes comme fonctions d'activation non linéaires pour les PELM, allant au-delà de la détection standard de l'intensité de la loi du carré.
• Validation Expérimentale : Les auteurs démontrent expérimentalement l'EV-PELM sur deux tâches non linéaires complexes : la classification de deux distributions en spirale et la régression d'une fonction sinc cible.
• Analyse de la Dimensionnalité : L'étude relie les performances de l'EV-PELM à l'augmentation du rang utilisable de la matrice de sortie de la couche cachée, estimé par la dépendance à la régularisation et les métriques de dimensionnalité effective.
• Évaluation du Bruit et de la Stabilité : Le travail évalue la sensibilité du système à la dérive systématique de l'intensité optique et ses capacités de généralisation sous des mesures répétées et bruitées.

Résultats

• Performance de Classification : Dans la tâche de classification de la double spirale non linéaire, l'EV-PEMM a atteint des précisions de 93 ± 3 %. Les résultats ont démontré de fortes capacités de généralisation intrinsèque.
• Dimensionnalité et Régularisation : Il a été constaté que les performances de la régression de Ridge et de la lecture par pseudo-inverse sont comparables, indiquant que le système opère dans un régime de dimensionnalité effective limitée par l'échantillon. Le balayage du paramètre de régularisation $\lambda$ a confirmé que l'approche par événements permet de sonder la dimensionnalité utilisable de la représentation cachée.
• Régression et Stabilité : Les résultats de la régression ont révélé une sensibilité à la dérive systématique de l'intensité optique. Cette conclusion souligne des exigences de stabilité spécifiques pour les futurs PELM à événements, particulièrement concernant la cohérence de la source optique et des seuils de détection.
• Généralisation : Le système a maintenu ses performances lors de mesures répétées et bruitées, bien que les limites spécifiques de robustesse soient liées à la nature de la détection d'événements (par exemple, les événements manqués à des taux élevés ou les événements déclenchés par le bruit).

Signification et Revendications
L'article affirme établir la détection par événements comme une voie viable vers des représentations cachées photoniques plus riches pour le calcul neuromorphique. En exploitant la variation naturelle de la log-intensité seuillée des caméras à événements, l'EV-PELM surmonte les contraintes de dimensionnalité inhérentes aux lectures conventionnelles basées sur l'intensité.

Cependant, les auteurs maintiennent un ton modeste concernant l'état actuel de la technologie. Ils précisent que, bien que l'approche offre un potentiel pour des machines de plus haute performance, elle fait actuellement face à des limitations liées à la dérive systématique de l'intensité optique et aux non-idéalités des capteurs à événements (telles que l'accumulation de charge et le bruit). Ce travail sert à la fois à démontrer le potentiel des EV-PELM et à définir les exigences de stabilité spécifiques nécessaires à leur développement futur dans les architectures de calcul optique.