DECKER: Domain-invariant Embedding for Cross-Keyboard Extraction and Recognition

Resumen Técnico: DECKER – Incrustación Invariante al Dominio para Extracción y Reconocimiento entre Teclados

1. Enunciado del Problema

Los Ataques de Canal Lateral Acústico (ASCA) en teclados representan un riesgo de seguridad significativo, permitiendo que adversarios infieran información sensible (contraseñas, mensajes privados) a partir de la acústica de la escritura. Aunque investigaciones previas han validado la viabilidad de los ASCA, los estudios existentes se ven limitados por condiciones de evaluación estrechas: conjuntos de datos pequeños, configuraciones de un solo teclado, entornos controlados y demografías específicas de usuarios. En consecuencia, los modelos ASCA actuales tienden a sobreajustarse a patrones espectrales específicos del dispositivo (identidad del teclado) en lugar de aprender las firmas acústicas intrínsecas de las teclas. Esto resulta en una generalización deficiente cuando los atacantes se enfrentan a teclados no vistos, usuarios diversos o entornos ruidosos del mundo real. Además, las pipelines existentes a menudo tratan las pulsaciones de teclas de forma independiente, sin aprovechar el contexto lingüístico para corregir errores de predicción local, una brecha exacerbada por la emergencia de Modelos de Lenguaje Grandes (LLM).

2. Metodología

El artículo introduce HEAR, un conjunto de datos novedoso, y DECKER, un marco de inferencia de pulsaciones de teclas invariante al dominio diseñado para abordar la generalización entre teclados, usuarios y entornos.

El Conjunto de Datos HEAR:
Para habilitar una evaluación realista, los autores curaron HEAR, que contiene grabaciones de 53 participantes escribiendo en 37 teclados de portátiles diferentes. El conjunto de datos abarca tres modalidades de captura realistas:

1. Captura mediante micrófono externo.
2. Captura mediante micrófono del dispositivo (sin ruido de red).
3. Captura mediante transmisión VoIP (simulando ruido del canal de red).
   El conjunto de datos incluye metadatos demográficos y respuestas de conciencia del usuario, apoyando el análisis del sesgo del usuario y la generalización entre dispositivos.

El Marco DECKER:
DECKER emplea una estrategia de generalización de cuatro etapas para aprender incrustaciones que son discriminativas de la tecla pero invariantes al teclado:

1. Normalización de la Firma del Teclado (KSN): Un módulo de filtro inverso aprendible (basado en CNN 1D) aplicado a nivel de forma de onda para suprimir la coloración espectral específica del dispositivo (respuestas al impulso) mientras se preservan las estructuras transitorias de las pulsaciones de teclas.
2. Desenredamiento Adversarial de Dominio: Utilizando una Capa de Reversión de Gradiente (GRL), el marco entrena un codificador para minimizar la pérdida de clasificación de pulsaciones de teclas mientras maximiza la dificultad de un clasificador de dominio para predecir la identidad del teclado a partir de las incrustaciones.
3. Alineación Contrastiva Supervisada entre Teclados: Un objetivo de aprendizaje contrastivo que acerca las incrustaciones de la misma tecla provenientes de diferentes teclados mientras separa las teclas diferentes, imponiendo consistencia entre dominios.
4. Randomización de Estilo Acústico (ASR): Una técnica de aumento de datos que sintetiza respuestas de teclados no vistos aplicando filtros IIR aleatorios, distorsión de envolvente espectral y perturbaciones de decaimiento para simular condiciones acústicas diversas.

Reconstrucción de Secuencias:
Para abordar la acumulación de errores en secuencias largas, DECKER integra una etapa de decodificación asistida por LLM. Utiliza una búsqueda en haz restringida con LLM preentrenados (por ejemplo, GPT-2, FLAN-T5) para refinar predicciones de pulsaciones de teclas ruidosas en texto coherente o contraseñas, aprovechando priores lingüísticos para corregir errores de sustitución, inserción y eliminación.

3. Contribuciones Clave

• Conjunto de Datos HEAR: Un conjunto de datos integral, multi-dispositivo, multi-usuario y multi-entorno que unifica factores como la diversidad de género, flujos VoIP y captura NLoS (Sin Línea de Vista), permitiendo el primer estudio robusto de la generalización ASCA.
• Benchmark Integral: Un nuevo marco de evaluación en HEAR que prueba características convencionales y modelos preentrenados (PTM) en configuraciones unimodales y multimodales, cuantificando la caída de rendimiento de los métodos existentes en escenarios entre teclados y entre usuarios.
• Marco DECKER: Una pipeline de entrenamiento novedosa que combina KSN, desenredamiento adversarial, alineación contrastiva y ASR para lograr representaciones invariantes al dominio, superando significativamente a las líneas base unimodales y multimodales en tareas de generalización.
• Cuantificación de Riesgo Asistida por LLM: Una investigación sobre ataques a nivel de oración que demuestra que los LLM mejoran sustancialmente la recuperación de secuencias, proporcionando un límite superior realista sobre los riesgos de filtración de pulsaciones de teclas en escenarios de mundo abierto.

4. Resultados

Las evaluaciones empíricas en el conjunto de datos HEAR arrojan los siguientes hallazgos:

• Fallo de la Línea Base: Las líneas base unimodales fuertes (por ejemplo, wav2vec2, ECAPA-TDNN) y de fusión multimodal sufren caídas de rendimiento significativas (37–41%) cuando se prueban en teclados no vistos, confirmando que codifican la identidad del dispositivo en lugar de la identidad de la tecla.
• Rendimiento de DECKER: DECKER reduce significativamente la brecha de generalización. En teclados no vistos, alcanza una precisión Top-1 del 81.3% en comparación con el 58.1% de la mejor línea base unimodal (ECAPA-TDNN) y el 63.2% de las líneas base de fusión multimodal.
• Ablación de Componentes: Eliminar KSN causa la mayor caída de rendimiento (de 81.3% a 63.7% en teclados no vistos), destacando el papel crítico de la normalización de la forma de onda. El entrenamiento adversarial de dominio por sí solo (GRL) mejora el rendimiento pero es insuficiente sin KSN y alineación contrastiva.
• Impacto de los LLM: La decodificación asistida por LLM mejora significativamente la reconstrucción a nivel de oración. Para contraseñas similares a las humanas, GPT-4 mejoró la precisión de coincidencia exacta al 72.8% (desde 42.6% en crudo), mientras que las mejoras para cadenas aleatorias de alta entropía fueron insignificantes, indicando la dependencia del ataque de la estructura lingüística.
• Viabilidad: La inferencia en una laptop Apple M1 comercial demuestra que DECKER puede procesar pulsaciones de teclas en tiempo real (~430 pulsaciones/seg) y reconstruir oraciones con latencia interactiva, sin requerir clusters de GPU.

5. Significado y Afirmaciones

El artículo afirma que el ASCA sigue siendo una amenaza real creíble y subestimada. Los autores argumentan que evaluaciones anteriores pueden haber sido excesivamente optimistas sobre las limitaciones del ASCA debido a la dependencia de regímenes de entrenamiento controlados y de un solo dispositivo. Al demostrar que el aprendizaje invariante al dominio puede generalizar efectivamente a través de hardware y entornos diversos, el estudio sugiere que la superficie de ataque es más amplia de lo que se reconocía previamente.

La integración de LLM se destaca como un factor crítico que amplifica el riesgo práctico del ASCA, transformando predicciones acústicas ruidosas en texto coherente y sensible. Los autores concluyen que las futuras defensas de seguridad deben tener en cuenta tanto la obfuscación acústica física como las contramedidas algorítmicas contra el procesamiento posterior lingüístico, ya que el ASCA ya no está confinado a condiciones de laboratorio, sino que es viable en entornos compartidos, ruidosos y públicos.