🔬 óptica

Reading Why: Born-Measured Attention with Exact Word Evidence on Light and Qubits

Este artículo presenta un transformador "Born-Measured" que reemplaza la atención estándar y las no linealidades con operaciones de inspiración cuántica para proporcionar una atribución de nivel de palabra exacta y libre de errores para sus predicciones, logrando una precisión competitiva en e-SNLI al tiempo que demuestra una compilación exitosa tanto a circuitos ópticos como a un dispositivo cuántico de 23 cúbits.

Autor original: Teerawat Tongloy, Jiraporn Pongsopa, Rangsan Jomtarak

Publicado 2026-11-04

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autor original: Teerawat Tongloy, Jiraporn Pongsopa, Rangsan Jomtarak

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por el autor. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Cuando un programa informático lee una oración y decide qué significa, a menudo tenemos que adivinar por qué tomó esa decisión. Podemos observar los números que el programa utiliza para ponderar diferentes palabras, pero esos números son solo estimaciones; no nos dicen exactamente qué palabras causaron la respuesta final. Este es un problema para la inteligencia artificial, especialmente cuando necesitamos confiar en la decisión de una máquina. Los científicos han intentado durante mucho tiempo construir modelos que no solo sean precisos, sino también transparentes, para que podamos ver el camino exacto desde las palabras en la pantalla hasta la conclusión que alcanza la máquina. El desafío es que el tipo de modelo de lenguaje más común depende de un truco matemático para suavizar sus elecciones, un truco que hace que sea muy difícil rastrear la influencia de una sola palabra. Si queremos saber por qué una máquina piensa que una historia es verdadera o falsa, necesitamos una forma de medir la contribución de cada palabra sin perder el hilo en una nube de aproximaciones.

Un equipo de investigadores ha construido un nuevo tipo de modelo de lenguaje que resuelve este problema cambiando la forma en que la máquina piensa. En lugar de utilizar los trucos matemáticos estándar que ocultan el razonamiento, construyeron un sistema donde cada paso del proceso de pensamiento es una medición directa de luz o partículas cuánticas. En este nuevo diseño, la máquina no adivina cuánto importa una palabra; la mide. Los investigadores reemplazaron los pasos de suavizado habituales con una regla física que eleva al cuadrado la fuerza de una señal, una regla que se conoce desde hace un siglo en la física. Al hacer esto, crearon un modelo donde la respuesta final es una suma precisa de las contribcciones de cada una de las palabras. Cuando probaron este sistema en una tarea que pregunta si una oración se deriva de otra, la máquina funcionó tan bien como los mejores modelos estándar, pero con una diferencia crucial: podía decirles exactamente qué palabras decidieron el resultado, y esas explicaciones sumaban perfectamente la puntuación final.

Los investigadores probaron su creación en un conjunto de datos de casi diez mil pares de oraciones, donde anotadores humanos ya habían resaltado las palabras específicas que marcaban la diferencia entre que una oración fuera verdadera, falsa o no relacionada. Compararon su nuevo modelo contra uno estándar que utiliza los trucos de suavizado habituales. Ambos modelos obtuvieron la respuesta correcta aproximadamente el 77 por ciento de las veces, lo que demuestra que el nuevo diseño no sacrificó la precisión por la claridad. Sin embargo, cuando los investigadores pidieron a los modelos que se explicaran, la diferencia fue notable. En el modelo estándar, las palabras que afirmaba que eran más importantes no siempre cambiaban la respuesta cuando se eliminaban. En el nuevo modelo, eliminar la palabra que el sistema decía que era más importante cambió la respuesta en el 45 por ciento de los casos, un signo mucho más fuerte de que la explicación estaba realmente impulsando la decisión. Además, las palabras que el nuevo modelo señaló coincidieron más estrechamente con las palabras que los humanos habían resaltado que el modelo estándar.

Lo que hace que este trabajo sea único es que la explicación no es una ocurrencia tardía añadida después; está integrada en la estructura misma de la máquina. Los investigadores diseñaron el modelo de modo que la matemática que describe la respuesta sea un polinomio simple, un tipo de ecuación donde las variables son las señales de las palabras. Debido a esto, pueden calcular la contribución exacta de cada palabra sumando pequeñas piezas del cálculo, un proceso que no deja lugar al error. Verificaron esto ejecutando el modelo en una computadora cuántica, una máquina que utiliza las extrañas propiedades de las partículas subatómicas para procesar información. No ejecutaron todo el modelo en la computadora cuántica, lo cual habría sido demasiado difícil con la tecnología actual, pero sí ejecutaron las partes que miden cómo se relacionan las palabras entre sí. La computadora cuántica dio las mismas respuestas que el modelo matemático perfecto, y cuando eliminaron una palabra clave, la máquina cuántica cambió de opinión tal como lo hizo el modelo perfecto. Esto demostró que el diseño funciona no solo en teoría, sino en hardware real.

Los investigadores también demostraron que este mismo conjunto de números podría usarse para construir una máquina que trabaje con luz. Mapearon los pesos del modelo en un diseño que podría construirse con espejos y láseres, donde las palabras están representadas por haces de luz y las relaciones entre ellas se miden por cómo interfieren las ondas de luz entre sí. Aunque simularon esta versión óptica en una computadora, las matemáticas demostraron que funcionaría exactamente igual que la versión cuántica. Esta posibilidad dual sugiere que el modelo no está ligado a un tipo específico de hardware; es un diseño que puede ejecutarse con luz, con partículas cuánticas o con computadoras clásicas, manteniendo siempre la misma explicación clara y exacta para sus respuestas.

Uno de los hallazgos más sorprendentes fue que la forma estándar de observar estos modelos, verificando a qué palabras prestaba más atención la máquina, era engañosa. En el nuevo modelo, las palabras que recibían más atención no siempre daban cuenta de la respuesta tan bien como las palabras que el modelo identificaba como evidencia. De hecho, eliminar la palabra con la puntuación de atención más alta cambió la respuesta con menos frecuencia que eliminar la palabra con la puntucción de evidencia más alta. Esto sugiere que los pesos de atención, que a menudo se utilizan para explicar cómo funciona un modelo, pueden parecer el razonamiento de un humano pero fallar en el impulso real de la decisión. La evidencia del nuevo modelo, por el contrario, era una contabilidad real de la respuesta.

El trabajo no pretende haber resuelto todos los problemas de la inteligencia artificial, y los investigadores son cuidadosos al señalar los límites de sus experimentos actuales. Las pruebas de la computadora cuántica se realizaron con solo dos oraciones cortas, y la versión óptica solo ha sido simulada, no construida. El sistema también requiere muchas mediciones para funcionar en una computadora cuántica, lo cual es actualmente lento y costoso. Sin embargo, el estudio demuestra que es posible construir un modelo de lenguaje que sea tanto preciso como perfectamente explicable. Al reemplazar los trucos matemáticos ocultos por mediciones físicas directas, los investigadores han creado una máquina que no solo da una respuesta, sino que muestra su trabajo de una manera que es exacta, verificable y comprensible. Esto abre un camino hacia una inteligencia artificial en la que podemos confiar no porque sea una caja negra que funciona, sino porque podemos ver exactamente cómo funciona.

Resumen Técnico: Atención Medida por Born con Evidencia Exacta de Palabras

Problema
Las explicaciones actuales para las decisiones de los modelos de lenguaje son típicamente aproximaciones post-hoc. Los pesos de atención, la métrica interna más visible, a menudo no explican el resultado real, y los métodos de atribución estándar (como los gradientes integrados) en modelos no polinómicos producen solo resultados aproximados que no suman exactamente la predicción del modelo. Además, aunque el hardware cuántico y óptico puede realizar naturalmente la interferencia y las combinaciones coherentes, tiene dificultades para implementar la no linealidad softmax propia de los transformadores estándar. El artículo plantea si un transformador puede construirse enteramente a partir de operaciones físicas nativas de la luz y los cúbits (mediciones de Born) proporcionando, además, evidencia exacta y verificable de sus decisiones.

Metodología
Los autores proponen el Transformer de Born, un modelo donde cada no linealidad (softmax, LayerNorm, ReLU) es reemplazada por una medición de Born (el cuadrado del módulo de una amplitud).

Arquitectura:
- Codificación: Las palabras se mapean a campos complejos (32 modos de luz o 5 cúbits) utilizando embeddings aprendidos y campos de posición rotatoria.
- Atención de Born: En lugar de softmax, los pesos de atención se calculan como $| \langle q_i | k_j \rangle |^4$ normalizados sobre la fila. El solapamiento $\langle q_i | k_j \rangle$ es un término de interferencia, medible mediante detección balanceada (luz) o pruebas de Hadamard (cúbits).
- Feed-Forward Medido: Reemplaza el esquema lineal-ReLU-lineal con un producto de dos imágenes lineales, $Re[(W_1 h)(W_2 h)]$ , leído mediante detección homodina (luz) o pruebas de Hadamard (cúbits), seguido de una ganancia clásica.
- Lectura (Readout): El estado final se proyecta sobre regiones de clase, calculando las probabilidades como razones de amplitudes al cuadrado ( $P_g = \sum | \phi_b |^2 / \sum | \phi_b |^2$ ).
Evidencia Exacta de Palabras (BEW):
Debido a que el modelo es una razón de polinomios en las amplitudes de las palabras (una vez que los denominadores se mantienen constantes), la Evidencia de Born por Palabra (BEW) se calcula mediante gradientes integrados. Dado que la función es un polinomio, la integral puede calcularse exactamente utilizando la cuadratura de Gauss-Legendre finita (324 nodos son suficientes para el grado del modelo), asegurando que la suma de las evidencias de las palabras sea exactamente igual a la probabilidad de la clase por encima de su parte de no información.
Realizaciones de Hardware:
- Óptica: El modelo se compila en un circuito optoelectrónico donde las mediciones ocurren dentro de cada bloque (detectores + moduladores).
- Cúbits (Transformer de Born): La medición de cada bloque es un circuito separado (pruebas de Hadamard).
- Cúbits (Capa de Atención Coherente): Una variante que retrasa la medición hasta el final, compilando todo el mecanismo de atención en un único circuito (852 CNOTs en 23 cúbits) utilizando proyecciones de Bell y unitarias de tipo "brickwall".

Contribuciones Clave

Diseño del Transformer de Born: Un transformador construido únicamente de mediciones de Born, reemplazando el softmax y otras no linealidades con reglas de medición física.
Evidencia Exacta de Palabras (BEW): Una extensión de los mapas de evidencia de Born a modelos profundos basados en atención. A diferencia de las aproximaciones estándar, BEW suma exactamente a la probabilidad de salida del modelo, computada mediante cuadratura finita.
Compilación de Hardware Dual: Los mismos pesos se compilan exactamente para realizaciones tanto ópticas como cuánticas.
Capa de Atención Coherente: Una realización cuántica de un solo circuito de la atención que no requiere mediciones intermedias, aunque depende de la post-selección.
Validación de Hardware: La ejecución de los solapamientos de atención del Transformer de Born en el procesador cuántico ibm_kingston de IBM demuestra que el dispositivo reproduce las respuestas del modelo y responde a las eliminaciones de palabras según lo previsto.

Resultados

Precisión: En la tarea de inferencia de lenguaje natural e-SNLI, el Transformer de Born (98k parámetros fuera del embedding) alcanza una precisión de prueba del 76.98%, estadísticamente indistinguible de un transformador softmax del mismo tamaño (76.62%). Una simulación polinómica sin restricciones de medición (Poly-sim-born) alcanza el 78.98%.
Calidad de la Evidencia:
- Completitud: Las evidencias de las palabras suman la probabilidad de la clase con una brecha de $\le 8 \times 10^{-12}$ (mediana de $6 \times 10^{-13}$ ).
- Prueba de Eliminación: Eliminar la palabra con la mayor BEW cambia la respuesta en el 45% de los pares de prueba, comparado con el 32% de la evidencia del modelo softmax y el 32% de los pesos de atención del modelo de Born.
- Acuerdo Humano: Las palabras principales identificadas por BEW concuerdan con los resaltados de los anotadores humanos (0.510) mejor que la evidencia del modelo softmax (0.468), aunque los pesos de atención muestran un acuerdo mayor (0.54) pero una menor fidelidad a la respuesta.
Rendimiento de Hardware:
- En ibm_kingston, el dispositivo reprodujo la respuesta del modelo para el par "men play hockey / aliens play" (contradicción) con una probabilidad de 0.988 (frente a 0.983 exacto).
- Eliminar "aliens" (la palabra de máxima evidencia) en el dispositivo desplazó la respuesta hacia la implicación (0.573), coincidiendo con el comportamiento exacto del modelo.
- Limitaciones: La medición de la propia BEW en hardware falló debido a errores de calibración en las sumas de filas (pérdida de visibilidad). La tasa de post-selección de la capa de atención coherente es baja ( $10^{-5}$ a $10^{-4}$ ), lo que la hace actualmente inviable para una ejecución completa en dispositivos existentes.

Significado y Reivindicaciones
El artículo sostiene que, al diseñar un modelo donde la explicación es intrínseca a la arquitectura (un polinomio de las amplitudes de las palabras), se puede lograr una atribución exacta sin aproximación. Esto permite que el modelo sea "verificado tan bien como puntuado". Los autores demuestran que:

Reemplazar el softmax con mediciones de Born no sacrifica la precisión en tareas de NLI.
La evidencia resultante es matemáticamente exacta y físicamente medible.
Los pesos de atención, aunque visualmente similares a los resaltados humanos, son menos fieles a la lógica de decisión real del modelo que la evidencia exacta derivada de los gradientes integrados.
Los pesos del modelo son agnósticos al hardware, compilándose exactamente para sistemas tanto ópticos como cuánticos, cerrando la brecha entre la interpretabilidad teórica y la implementación física.

Los autores declaran explícitamente que no reclaman ventaja cuántica; el dispositivo realiza computaciones que una computadora clásica realiza instantáneamente. La importancia reside en la interpretabilidad por diseño y la capacidad de verificar el comportamiento del modelo mediante la medición física y la descomposición matemática exacta.

Más como este