NasoVoce: A Nose-Mounted Low-Audibility Speech Interface for Always-Available Speech Interaction

El paper presenta NasoVoce, una interfaz montada en la nariz que fusiona señales acústicas y de vibración para capturar el habla silenciosa y susurrada de manera robusta frente al ruido, permitiendo interacciones de voz discretas y siempre disponibles con IA.

Lo esencial

Imagina que tienes un asistente de inteligencia artificial (como Siri o Alexa) que siempre está contigo, listo para ayudarte a organizar tu día, buscar información o simplemente charlar. Suena genial, ¿verdad? Pero hay un problema: no puedes hablarle en voz alta cuando estás en una biblioteca, en una reunión importante o en un tren lleno de gente. Si lo haces, molestarás a los demás o revelarás tus secretos.

Por otro lado, si intentas susurrar, el ruido de fondo (el tráfico, las conversaciones de otros) hace que el asistente no te entienda.

Aquí es donde entra NasoVoce, una nueva tecnología presentada por investigadores de Sony y la Universidad de Tokio. Es como un "superpoder" para tus gafas inteligentes.

¿Qué es NasoVoce?

Imagina que tus gafas inteligentes tienen unos pequeños sensores escondidos en la parte que descansa sobre tu nariz (los "almohadillas nasales"). Estos sensores no son solo uno, sino un equipo de dos:

1. Un micrófono diminuto: Es como un oído muy sensible que capta el sonido del aire.
2. Un sensor de vibración: Es como una "mano" que siente las vibraciones de tu piel y huesos.

La Magia: ¿Cómo funciona?

Piensa en la nariz como un puente estratégico entre tu boca y el mundo exterior.

• El problema del susurro: Cuando susurras, no usas tus cuerdas vocales (no hay "voz"), solo empujas aire. Esto hace que el sonido sea muy débil y fácil de perder en el ruido.
• La solución de NasoVoce:
  • El micrófono escucha el susurro, pero si hay mucho ruido afuera, se confunde.
  • El sensor de vibración siente cómo tu nariz y huesos vibran ligeramente cuando hablas o susurras. ¡El ruido de la calle no hace vibrar tu nariz! Por lo tanto, este sensor es inmune al ruido, pero la señal que capta es un poco "gruesa" o de baja calidad.

La analogía perfecta: Imagina que estás en una fiesta ruidosa y quieres escuchar a un amigo.

• Si solo usas tus oídos (el micrófono), no lo entiendes por el ruido.
• Si solo te pones la mano en el hombro de tu amigo para sentir sus vibraciones (el sensor), puedes saber que habla, pero no entiendes las palabras claramente.
• NasoVoce hace ambas cosas a la vez y las mezcla con un cerebro de inteligencia artificial. Combina la claridad del micrófono con la resistencia al ruido del sensor de vibración. El resultado es una voz limpia, clara y privada, incluso si estás en medio de una obra de construcción.

¿Por qué es tan especial?

1. Es invisible y cómodo: No tienes que llevar un micrófono en el cuello ni un dispositivo en la oreja. Está integrado en las gafas que ya podrías llevar puestas. Nadie nota que estás hablando con una IA.
2. Privacidad total: Puedes susurrar tus secretos sin que nadie más los escuche. Además, si te cubres la boca con la mano (un gesto natural), nadie puede leer tus labios, lo que añade una capa extra de seguridad.
3. Funciona en cualquier lugar: Ya sea en un café ruidoso, en un tren o en la calle, el sistema filtra el ruido de fondo y solo te escucha a ti.
4. No es solo para comandos: A diferencia de otros sistemas antiguos que solo entendían "encender luz" o "llamar a mamá", NasoVoce entiende conversaciones completas, susurros y palabras complejas, como si estuvieras hablando normalmente.

En resumen

NasoVoce es como tener un traductor de susurros que nunca se equivoca, sin importar cuán ruidoso sea el mundo a tu alrededor. Convierte tus gafas inteligentes en un canal de comunicación privado y silencioso, permitiéndote hablar con tu inteligencia artificial en cualquier momento y lugar, sin que nadie más se entere.

Es el paso final para que la tecnología deje de ser algo que "usamos" y se convierta en algo que simplemente "tenemos", siempre disponible y siempre discreto.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "NasoVoce: A Nose-Mounted Low-Audibility Speech Interface for Always-Available Speech Interaction", presentado en la conferencia CHI '26.

1. Planteamiento del Problema

El uso de la inteligencia artificial generativa mediante interfaces de voz está en aumento, pero las soluciones actuales enfrentan desafíos críticos para ser "siempre disponibles" en entornos cotidianos:

• Privacidad y Aceptabilidad Social: Hablar en voz alta en público es invasivo y expone información confidencial.
• Robustez al Ruido: Los micrófonos convencionales fallan en entornos ruidosos o al capturar susurros (que tienen baja presión sonora).
• Limitaciones de la "Voz Silenciosa" (Silent Speech): Las interfaces existentes (lectura de labios, EMG, sensores de hueso en la mandíbula) suelen estar restringidas a vocabularios pequeños, requieren cámaras intrusivas o sufren de ambigüedad física (diferentes palabras producen el mismo movimiento).
• El problema del susurro: Aunque el susurro es discreto, es extremadamente vulnerable al ruido ambiental y los sensores de conducción ósea tradicionales (como los de la garganta) a menudo no capturan bien los componentes no sonoros (sin vibración de cuerdas vocales) del susurro.

Objetivo: Crear una interfaz de voz que sea discreta, robusta al ruido, capaz de capturar susurros y normal, y que funcione con un vocabulario ilimitado sin comprometer la usabilidad diaria.

2. Metodología Propuesta: NasoVoce

Diseño del Hardware:

• Ubicación: El dispositivo se monta en los almohadillados nasales de unas gafas inteligentes (smart glasses), específicamente en el puente nasal.
• Sensores: Integra dos sensores MEMS sincronizados:
  1. Micrófono (Mic): Captura señales acústicas de aire (voz normal y susurros). Es de alta calidad pero sensible al ruido ambiental.
  2. Sensor de Vibración (Vib): Captura señales de conducción ósea y cutánea. Es muy robusto al ruido ambiental pero tiene menor calidad de señal y menor respuesta a frecuencias altas en susurros.
• Configuración: Ambos sensores operan a 16 kHz y 16 bits, sincronizados por un mismo reloj digital para evitar desajustes temporales. Los datos se transmiten como un flujo de audio estéreo (canal izquierdo: vibración, canal derecho: micrófono).
• Ventaja Anatómica: El puente nasal está cerca de la boca y la cavidad nasal, permitiendo capturar tanto la turbulencia aerodinámica del susurro (vía micrófono) como las vibraciones de la piel/hueso (vía sensor de vibración), algo que los sensores de garganta no logran eficazmente en susurros.

Modelo de Reconocimiento (D-DCCRN):

• Se propone un modelo de aprendizaje profundo llamado D-DCCRN (Dual-DCCRN), una extensión de la arquitectura DCCRN (Deep Complex Convolution Recurrent Network).
• Funcionamiento: Acepta entradas compuestas del micrófono (ruidoso) y el sensor de vibración. Utiliza redes neuronales complejas para procesar tanto la magnitud como la fase de las señales.
• Justificación: El susurro carece de estructura armónica y se asemeja al ruido. La preservación de la información de fase (capturada por el sensor de vibración) es crucial para distinguir el susurro del ruido ambiental.
• Entrenamiento:
  • Se utilizó un conjunto de datos de 104 horas con 45 participantes.
  • Se aplicó una estrategia de pérdida de conocimiento (Knowledge Distillation) utilizando a OpenAI Whisper Large-v2 como "maestro". El modelo se entrena para que la salida mejorada (Enhanced) coincida con la salida de Whisper entrenada con audio limpio.
  • La función de pérdida total combina la reconstrucción de audio (MSE, SI-SDR) y la alineación con el decodificador de Whisper (pérdida dura y blanda).

3. Contribuciones Clave

1. Mecanismo de Entrada de Susurro: Integración novedosa de micrófono y sensor de vibración en los almohadillados nasales, permitiendo capturar susurros y voz normal de forma discreta y robusta.
2. Arquitectura de Fusión Multimodal: Desarrollo del modelo D-DCCRN que fusiona señales de conducción aérea y ósea/cutánea, superando las limitaciones de los sensores individuales.
3. Validación Integral: Creación de un conjunto de datos específico y evaluación exhaustiva que demuestra la viabilidad de conversaciones de IA discretas y continuas.

4. Resultados de la Evaluación

La evaluación se realizó comparando el micrófono solo (Mic), el sensor de vibración solo (Vib) y la señal mejorada (Enhanced) bajo diversas condiciones de ruido (SNR de -10 dB a 10 dB).

• Precisión de Reconocimiento (WER/CER):
  • El micrófono solo falla drásticamente a medida que aumenta el ruido.
  • El sensor de vibración solo es estable pero tiene menor precisión en susurros.
  • NasoVoce (Enhanced): Logra la mayor precisión en la mayoría de los escenarios. En condiciones de ruido moderado (0 dB o superior), supera al micrófono solo. En susurros, es significativamente más robusto que el micrófono solo y supera al sensor de vibración solo en la mayoría de los casos.
• Calidad de Audio (Objetiva):
  • Métricas PESQ y STOI muestran que la señal mejorada supera consistentemente al micrófono solo en todas las condiciones de ruido.
  • En ruido extremo (10 dB), el sensor de vibración solo puede superar ligeramente al modelo fusionado, lo que sugiere que el micrófono añade artefactos en escenarios de ruido abrumador.
• Evaluación Subjetiva (MUSHRA):
  • Los usuarios calificaron la señal mejorada como superior a la del micrófono solo y al sensor de vibración hasta niveles de ruido de 0 dB.
  • En ruido muy alto (10 dB), la percepción de calidad del sensor de vibración fue ligeramente superior, confirmando la necesidad de una fusión adaptativa.
• Pruebas en Entorno Real (In-the-Wild):
  • Se probó en cafés, calles concurridas, caminando y en trenes.
  • Comparativa con AirPods Pro 2: La función de "Aislamiento de Voz" de Apple suprimió casi por completo el susurro (tratándolo como ruido de fondo), mientras que NasoVoce capturó el susurro de manera robusta en todos los entornos.

5. Significado e Implicaciones

• Viabilidad de la Interacción Discreta: NasoVoce demuestra que es posible tener conversaciones con IA en cualquier lugar sin ser escuchado por terceros, resolviendo el problema de la privacidad y la aceptación social.
• Superioridad sobre Soluciones Existentes: A diferencia de los sensores de conducción ósea en la garganta (que fallan en susurros) o las cámaras de lectura de labios (invasivas), esta solución ofrece un equilibrio único entre usabilidad, discreción y robustez.
• Estrategia de Fusión Adaptativa: Los resultados sugieren que un sistema ideal debería tener un mecanismo de "gating" adaptativo basado en la relación señal-ruido (SNR). En entornos muy ruidosos, el sistema podría depender casi exclusivamente del sensor de vibración, descartando el micrófono para evitar artefactos.
• Futuro: El trabajo abre la puerta a gafas inteligentes verdaderamente funcionales como agentes de voz personales, capaces de operar en entornos hostiles y mantener la privacidad del usuario.

En resumen, NasoVoce representa un avance significativo en la computación vestible, ofreciendo una interfaz de entrada de voz que combina lo mejor de los sensores acústicos y de vibración para habilitar una interacción con IA continua, privada y resistente al ruido.