Protecting Bystander Privacy via Selective Hearing in Audio LLMs

1. El Problema: Privacidad de los Transeúntes en Modelos de Audio

Los Modelos de Lenguaje de Audio (Audio LLMs) se están desplegando masivamente en dispositivos del mundo real (asistentes de voz, wearables). Estos modelos capturan pasivamente el habla en entornos no controlados, lo que inevitablemente incluye el habla de transeúntes (bystanders): personas que no interactúan intencionalmente con el dispositivo pero cuyas voces son grabadas incidentalmente.

• Riesgo Actual: Los benchmarks y defensas existentes se centran casi exclusivamente en el usuario activo. Sin embargo, los transeúntes enfrentan los mismos riesgos de privacidad (exposición de identidad, estado emocional, condiciones de salud) pero sin control ni conocimiento sobre cómo se procesa su voz.
• La Brecha: Los LLMs de audio actuales, incluso los más avanzados, carecen de la capacidad de "audición selectiva". Tienden a procesar y revelar información sobre el habla incidental de los transeúntes cuando se les hace preguntas, violando su privacidad.

2. Metodología Propuesta

Para abordar este problema, los autores proponen un enfoque integral que incluye un nuevo benchmark, una métrica de evaluación y una técnica de entrenamiento.

A. SH-Bench (Selective Hearing Benchmark)

Es el primer benchmark diseñado específicamente para evaluar la capacidad de un modelo de audio para atender al hablante principal mientras rechaza procesar información sobre transeúntes.

• Datos: Contiene 3,968 mezclas de audio (aprox. 157.5 horas) con 285 hablantes únicos.
  • Escenarios Reales: 100 grabaciones en 5 entornos cotidianos (cafetería, gimnasio, vivienda compartida, transporte público, sala de espera) con actores reales.
  • Escenarios Sintéticos: 100 mezclas generadas a partir del corpus AMI (reuniones), donde se superpone una pista de "transeúnte" (atenuada -10dB) sobre un hablante principal.
• Evaluación: Cada audio se asocia con preguntas de opción múltiple (MCQs).
  • 5 preguntas sobre el hablante principal.
  • 5 preguntas sobre el transeúnte.
  • Opción crítica: Todas las preguntas incluyen la opción "No lo sé" (I don't know).
• Modos de Operación:
  1. Modo General: El modelo debe responder correctamente a todas las preguntas (principal y transeúnte).
  2. Modo Selectivo: Se instruye al modelo para que escuche solo al hablante principal (proporcionando una descripción de su contenido). En este modo, el modelo debe responder correctamente al hablante principal y seleccionar "No lo sé" para las preguntas sobre el transeúnte.

B. Métrica: Eficacia Selectiva (Selective Efficacy - SE)

Se introduce una nueva métrica unificada que equilibra la comprensión del audio y la protección de la privacidad. Es la media armónica de cuatro tasas de precisión:

1. Precisión del hablante principal (Modo General).
2. Precisión del hablante principal (Modo Selectivo).
3. Precisión del transeúnte (Modo General).
4. Precisión del transeúnte (Modo Selectivo) -> Aquí, "precisión" significa elegir correctamente "No lo sé".

Una SE alta indica que el modelo entiende bien el audio y protege eficazmente la privacidad del transeúnte.

C. BPFT (Bystander Privacy Fine-Tuning)

Para mitigar la fuga de privacidad, los autores proponen una tubería de entrenamiento (pipeline) llamada BPFT.

• Datos de Entrenamiento: Se construye un conjunto de datos más grande (3,768 audios, 75k preguntas) siguiendo la misma lógica que SH-Bench.
• Estrategia: Se entrena el modelo con pares de instrucciones:
  1. Responder preguntas en general.
  2. Rechazar explícitamente preguntas sobre el transeúnte si se le instruye hacerlo (en modo selectivo).
• Implementación: Se utiliza Low-Rank Adaptation (LoRA) para afinar el backbone del LLM (ej. Qwen-2.5-Omni, Step-Audio-2-mini) sin desbloquear todo el modelo.

3. Resultados Clave

Los autores evaluaron modelos de código abierto (Qwen, Llama, Step-Audio, Kimi) y propietarios (Gemini 2.5 Pro, GPT-4o) en SH-Bench.

• Fuga de Privacidad en Modelos Base: Los modelos existentes muestran una protección de privacidad deficiente. Aunque tienen alta comprensión del hablante principal, fallan en el modo selectivo:

  • Gemini 2.5 Pro (el mejor sin ajuste) obtuvo una SE del 75.8%.
  • Muchos modelos tienden a responder preguntas sobre transeúntes en modo selectivo, revelando información privada.
  • Algunos modelos (como Llama-Omni-2) se vuelven demasiado conservadores, respondiendo "No lo sé" incluso al hablante principal, lo que reduce la utilidad.

• Efectividad de BPFT:

  • Tras aplicar BPFT, los modelos aprenden a distinguir y proteger la privacidad sin sacrificar la comprensión del hablante principal.
  • Step-Audio-2-mini + BPFT logró la mejor puntuación global con una SE del 91.7%.
  • Mejoras Cuantitativas: BPFT logró un aumento absoluto del 47% en la precisión de rechazo de preguntas sobre transeúntes en modo selectivo y un aumento del 15.9% en la métrica SE comparado con Gemini 2.5 Pro.
  • Robustez: Los modelos con BPFT mantienen altas tasas de rechazo (92-96%) incluso en preguntas de texto abierto (sin opciones múltiples) sobre transeúntes.

• Análisis de Ablación:

  • La descripción del hablante principal es crucial para que los modelos identifiquen al transeúnte, aunque BPFT reduce esta dependencia.
  • La opción "No lo sé" es vital; sin ella, los modelos tienden a adivinar y revelar información, aunque BPFT ayuda a aumentar la entropía (incertidumbre) en las respuestas de rechazo.

4. Contribuciones Principales

1. SH-Bench: El primer benchmark sistemático para evaluar la audición selectiva y la privacidad de transeúntes en LLMs de audio, cubriendo escenarios reales y sintéticos.
2. Marco de Evaluación Unificado: Introducción de la métrica Selective Efficacy (SE) y la definición de dos modos de operación (General vs. Selectivo) para medir el equilibrio entre utilidad y privacidad.
3. BPFT (Pipeline de Ajuste Fino): Una metodología de entrenamiento demostrada que enseña a los modelos a rechazar consultas sobre terceros sin degradar el rendimiento en el hablante principal, logrando mejoras sustanciales en la privacidad.

5. Significado e Impacto

Este trabajo es fundamental porque:

• Cambia el Paradigma: Pasa de centrarse solo en la privacidad del usuario activo a proteger a los individuos pasivos (transeúntes) en entornos de IA de audio.
• Identifica una Vulnerabilidad Crítica: Demuestra que la alta capacidad de comprensión de audio no garantiza la privacidad; de hecho, los modelos más capaces pueden ser más peligrosos si no se les entrena específicamente para la audición selectiva.
• Proporciona una Solución Práctica: BPFT ofrece una ruta viable y eficiente (mediante LoRA) para mitigar estos riesgos en modelos existentes, estableciendo un nuevo estándar para el desarrollo de asistentes de voz éticos y seguros.
• Base para Futura Investigación: SH-Bench sienta las bases para futuras investigaciones en escenarios más complejos (discusiones grupales, multimodalidad audio-visual) y defensas contra ataques de privacidad.