🤖 AI

Large Audio Language Models for Spoofing-Aware Speaker Verification

Este artículo evalúa sistemáticamente los Grandes Modelos de Lenguaje de Audio (LALMs) para la Verificación de Locutor con Conciencia de Suplantación (SASV), demostrando que, si bien carecen de capacidad nativa zero-shot, la adaptación específica a la tarea les permite lograr un rendimiento competitivo y ofrecer alternativas auditables y unificadas a los canales modulares convencionales.

Autores originales: Sofya Savelyeva, Mariia Perunova, Evgeny Kushnir, Artem Dvirniak, Dmitrii Korzh, Oleg Y. Rogov

Publicado 2026-07-17

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Sofya Savelyeva, Mariia Perunova, Evgeny Kushnir, Artem Dvirniak, Dmitrii Korzh, Oleg Y. Rogov

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que te acercas a una puerta de entrada de alta tecnología que solo se abre con tu voz. Dices tu nombre y la puerta escucha, comprobando si las ondas sonoras coinciden con la voz que tiene registrada. Esto es la Verificación de Locutor (Speaker Verification), el portero digital que te deja entrar. Pero recientemente, ha llegado un nuevo tipo de embaucador: el Clonador de Voz. Usando potentes computadoras, estos embaucadores pueden imitar tu voz tan perfectamente que pueden engañar al portero, fingiendo ser tú incluso cuando se encuentran a kilómetros de distancia. Este es el mundo del Spoofing (suplantación), donde las voces falsas intentan irrumpir en sistemas seguros.

Para luchar contra esto, los científicos han construido dos tipos de guardias. El primer guardia, la Contramedida, es un detective simple que solo pregunta: "¿Es esta voz real o falsa?". No le importa quién esté hablando, solo si la voz suena sintética. El segundo guardia, el Verificador de Locutor, es un portero estricto que pregunta: "¿Es esta la persona correcta?", pero a veces es engañado por una imitación perfecta. El gran desafío en este campo es la Verificación de Locutor Consciente de la Suplantación (SASV, por sus siglas en inglés). Este es un super-guardia que debe hacer ambos trabajos a la vez: debe decidir si la voz es real y si pertenece a la persona que dice ser. Si la voz es falsa, la puerta permanece cerrada. Si es real pero de la persona equivocada, la puerta permanece cerrada. Solo si es real y es la persona correcta, la puerta se abre.

Recientemente, un nuevo tipo de IA llamada Modelo de Lenguaje de Audio Grande (LALM) se ha vuelto popular. Piensa en estos como robots superinteligentes que han escuchado millones de horas de sonido, desde música hasta podcasts, y pueden hablar sobre lo que escuchan. Son excelentes respondiendo preguntas como "¿Qué instrumento está sonando?" o "¿Esta persona está feliz?". Pero, ¿pueden ser entrenados para ser ese super-guardia en la puerta? Esa es la pregunta que un equipo de investigadores se propuso responder en su nuevo artículo. Querían ver si estos modelos de IA gigantes y parlanchines podían ser enseñados a detectar voces falsas y verificar identidades mejor que los viejos sistemas especializados que se usan actualmente.

El Gran Experimento del Detective de Voces

Los investigadores comenzaron con un descubrimiento sorprendente: si simplemente les pides a estos modelos de IA gigantes que desempeñen el papel de super-guardia sin ningún entrenamiento especial, son terribles en ello. De hecho, se comportan casi como un mono lanzando dardos a una diana, adivinando al azar. Resulta que el hecho de que una IA sepa mucho sobre audio no significa que sepa naturalmente cómo detectar un deepfake o verificar a un locutor específico. El enfoque de "zero-shot" (cero disparos) —donde simplemente le pides al modelo que haga el trabajo tal cual viene de fábrica— simplemente no funciona.

Sin embargo, la historia se vuelve mucho más interesante cuando los investigadores decidieron entrenar estos modelos. Utilizaron una técnica llamada LoRA (Adaptación de Bajo Rango), que es como darle a la IA un libro de texto especializado y un conjunto de exámenes de práctica en lugar de reconstruir todo el robot desde cero. Una vez que hicieron esto, los modelos de IA se transformaron de adivinadores aleatorios en detectives altamente competentes. Aprendieron a distinguir entre voces reales, voces falsas e impostores con una precisión impresionante, incluso superando a algunos de los mejores sistemas tradicionales en el campo.

Pero los investigadores no se detuvieron ahí. Sabían que la SASV es un delicado equilibrio. Tienes dos objetivos contrapuestos: quieres ser muy estricto con quién está hablando (Verificación de Locutor), pero también quieres ser muy estricto con si la voz es real (Detección de Spoofing). A veces, ser muy bueno en uno te hace malo en el otro. Para solucionar esto, probaron algunos trucos ingeniosos:

El Enfoque de Doble Cabeza: Le dieron a la IA dos "cabezas" adicionales (tomadores de decisiones especializados). Una cabeza se enfocaba puramente en detectar falsificaciones, y la otra se enfocaba puramente en identificar al locutor. Al entrenar estas cabezas juntas, la IA aprendió a equilibrar su atención, volviéndose buena en ambas tareas sin sacrificar una por la otra.
El Entrenamiento de "Modo Difícil": Hicieron que la IA practicara con los ejemplos más complicados primero —voces que eran casi falsificaciones perfectas o locutores que sonaban muy similares—. Este "minado de muestras difíciles" obligó al modelo a agudizar sus habilidades, lo que llevó a resultados aún mejores.

La parte más lúdica del experimento involucró el razonamiento de Cadena de Pensamiento (CoT). En lugar de solo dejar que la IA diga "Sí" o "No", los investigadores le pidieron que explicara por qué tomó esa decisión. Querían que la IA dijera cosas como: "Rechacé esta voz porque el tono suena demasiado robótico", o "Acepté esto porque el tono emocional coincide con la persona real". Intentaron enseñar a la IA a escribir estas explicaciones. Aunque la IA podía generar estas razones, los resultados fueron un tanto mixtos. Los modelos que escribían explicaciones eran ligeramente menos precisos en la decisión final de "Sí/No" que los que daban la respuesta directamente. Sin embargo, la capacidad de explicar su pensamiento es una gran ventaja para la confianza. Si un auditor humano necesita saber por qué se cerró una puerta, tener a la IA escribiendo una nota es mucho mejor que solo ver una luz roja.

El Veredicto

Entonces, ¿qué encontraron? El artículo concluye que estos modelos de IA de audio gigantes no nacen naturalmente para ser guardias de voz; necesitan ser entrenados específicamente para el trabajo. Pero una vez entrenados, son increíblemente poderosos. Pueden igualar o incluso superar a los sistemas de alto nivel actuales utilizados en la industria. El estudio sugiere que la mejor manera de usarlos es combinar diferentes estrategias de entrenamiento: enseñarles a detectar falsificaciones, enseñarles a reconocer locutores y hacer que practiquen con los ejemplos más difíciles.

Aunque la función de "explicar tu trabajo" no hizo que la IA fuera ligeramente más inteligente en la decisión final, sí hizo que el sistema fuera más transparente, lo cual es algo muy importante para la seguridad. Los investigadores admiten que estos modelos aún requieren mucha potencia de cómputo para funcionar y que las explicaciones que generan aún no han sido revisadas por humanos. Pero en general, este trabajo abre una nueva puerta: muestra que el futuro de la seguridad de voz podría no tratarse solo de herramientas especializadas y estrechas, sino de una IA flexible e inteligente que puede escuchar, razonar y decidir, todo al mismo tiempo. Los modelos de audio gigantes están listos para aprender y, con el entrenamiento adecuado, podrían ser los mejores porteros que hayamos tenido jamás.

Resumen Técnico: Grandes Modelos de Lenguaje de Audio para la Verificación de Locutor Consciente de Suplantación (Spoofing-Aware)

Planteamiento del Problema

Los avances recientes en la conversión de texto a voz (TTS) y la clonación de voz han hecho que la suplantación de identidad de voz de alta calidad sea económica y escalable, lo que representa una amenaza significativa para los sistemas de autenticación de voz. Aunque las defensas existentes se basan principalmente en la detección binaria de deepfakes (Contramedidas, o CM) o en la fusión modular de puntuaciones de Verificación Automática de Locutor (ASV) y CM, estos enfoques suelen tener dificultades para generalizarse a algoritmos de suplantación no vistos y carecen de interpretabilidad. La Verificación de Locutor Consciente de Suplantación (SASV) requiere una decisión conjunta para aceptar ensayos de objetivos bona fide, rechazar ensayos de impostores bona fide y rechazar ensayos suplantados (spoofed). Aunque los Grandes Modelos de Lenguaje de Audio (LALM) han mostrado potencial en tareas de audio relacionadas, su aplicabilidad a la SASV —específicamente su capacidad para proporcionar justificaciones en lenguaje natural para la auditoría y la robustez más allá de las predicciones discriminativas— sigue sin explorarse.

Metodología

Los autores formulan la SASV como un problema de decisión de tres vías (objetivo, no objetivo, suplantado) sobre locuciones de inscripción y de ensayo, alejándose de los flujos de trabajo en cascada de ASV-CM hacia un modelo unificado de extremo a extremo. El estudio evalúa los LALM bajo cuatro regímenes distintos: prompting zero-shot, ajuste fino supervisado (SFT), entrenamiento orientado al razonamiento y optimización basada en aprendizaje por refuerzo.

Adaptación del Modelo y Estrategias de Entrenamiento

Modelos Base: El estudio utiliza SALMONN-7B (que combina codificadores Whisper y BEATS con un LLM Vicuna) y Qwen2-Audio-7B.
Manejo de Entradas: SALMONN procesa la concatenación de las locuciones de inscripción y de ensayo con un intervalo de silencio, mientras que Qwen-Audio las acepta como entradas separadas.
Ajuste Fino Supervisado (SFT): Los autores emplean la Adaptación de Bajo Rango (LoRA) para ajustar eficientemente las capas de atención. Para abordar los objetivos contrapuestos de la discriminación de locutores y la detección de suplantación, se introduce una función de pérdida compuesta:
- $L_1$ : Entropía cruzada de tres clases para la decisión primaria de SASV.
- $L_2$ : Pérdida de Margen Angular Aditivo (AAM) aplicada únicamente a las muestras bona fide para mejorar la separabilidad del locutor sin degradar la detección de suplantación.
- $L_3$ : Pérdida de entropía cruzada binaria mediante una cabeza dedicada a la detección de suplantación para agudizar la sensibilidad ante la suplantación.
- Minería de Muestras Difíciles (Hard-Sample Mining): El muestreador de entrenamiento se enfoca progresivamente en pares difíciles (por ejemplo, ensayos sintéticos cercanos al locutor inscrito) para mejorar el manejo de casos límite.
Entrenamiento Orientado al Razonamiento:
- SFT de Cadena de Pensamiento (CoT): Un subconjunto de datos se enriquece con trazas de razonamiento estructuradas (por ejemplo, edad, género, prosodia) generadas por un modelo "cold-start" más fuerte (Step-Audio R1). Estas trazas se filtran rigurosamente para asegurar la corrección de la decisión y la consistencia propia (similitud de Jaccard $\ge$ 0.35).
- Optimización de Política Relativa de Grupo (GRPO): Aplicada para mejorar la calidad y diversidad de las trazas de razonamiento, fomentando el cumplimiento de formatos de salida específicos (<reasons>, <answer>) manteniendo la corrección de la respuesta.

Configuración Experimental

Conjuntos de Datos: El entrenamiento utiliza principalmente el conjunto de datos ASVspoof 5, aumentado con VoxCeleb para asegurar la diversidad de locutores genuinos (garantizando que no haya solapamiento con los locutores de evaluación). La evaluación se realiza en el conjunto de evaluación de ASVspoof 5 bajo una condición "difícil" utilizando una única locución de inscripción.
Métricas: El rendimiento se mide utilizando Precisión (Accuracy), Tasa de Error Igual (EER) y la Función de Costo de Detección mínima independiente de la arquitectura (min a-DCF). Nótese que para los modelos orientados al razonamiento, solo se reporta la precisión para las métricas basadas en umbrales debido a la deficiente calibración de puntuación causada por las dependencias de decodificación generativa.

Resultados Clave

Rendimiento Zero-Shot vs. Adaptado

Los LALM preentrenados rinden cerca del nivel del azar en configuraciones zero-shot (por ejemplo, Qwen-Audio: 21.71% de precisión; SALMONN: 43.75%), confirmando que no son intrínsecamente aptos para la SASV. Sin embargo, el SFT basado en LoRA mejora drásticamente el rendimiento, alcanzando SALMONN un 85.84% de precisión.

Ablación y Comparación de Estrategias

Componentes de Pérdida: Añadir la pérdida AAM ( $L_2$ ) aumenta significamente la precisión de ASV (al 95.50%) pero degrada severamente la precisión de CM (al 21.00%). Añadir la cabeza de detección de suplantación ( $L_3$ ) recupera el rendimiento de CM (80.01%) manteniendo altas puntuaciones de ASV.
Minería de Muestras Difíciles: Esta estrategia ofrece los mejores resultados generales, logrando un 89.30% de precisión y el min a-DCF más bajo (0.19) entre las variantes de LALM.
Comparación con Baselines: El sistema LALM final supera a las bases de fusión convencionales (ECAPA2 + WavLM/W2V2-AASIST) en precisión general y min a-DCF bajo el protocolo controlado. Sin embargo, los sistemas convencionales aún logran valores de EER más bajos, lo que indica una discriminación de locutor basada en umbrales más fuerte en configuraciones específicas.

Supervisión de Razonamiento

Cuando se entrena en un subconjunto emparejado de 90K pares:

SFT de etiqueta dura (Hard-label SFT) logra la mayor precisión general (86.02%).
CoT-SFT logra la mayor precisión de ASV (93.95%) pero una menor precisión general (83.92%).
GRPO proporciona el mejor equilibrio entre los modelos de razonamiento, logrando la mayor precisión de CM (89.04%) con una reducción menor en la precisión de ASV.
Crucialmente, los modelos orientados al razonamiento no superan uniformemente a la adaptación de etiqueta dura en términos de precisión bruta, aunque ofrecen interpretabilidad.

Significación y Reivindicaciones

El artículo posiciona a los LALM como una base prometedora y auditable para una SASV unificada, desafiando el dominio de los sistemas modulares en cascada. Los autores afirman:

Viabilidad: Los LALM pueden adaptarse para realizar SASV de manera efectiva, pero requieren un ajuste fino específico de la tarea; las capacidades zero-shot son insuficientes.
Competitividad: Con la adaptación adecuada (específicamente combinando múltiples cabezales de pérdida y minería de muestras difíciles), los LALM pueden igualar o exceder los baselines convencionales fuertes en la calidad de la decisión general (precisión y a-DCF).
Compromisos (Trade-offs): Existe un compromiso inherente entre la discriminación de locutores y la detección de suplantación. El estudio demuestra que equilibrar esto mediante cabezales especializados y estrategias de minería es crítico para un rendimiento óptimo.
Interpretabilidad: Aunque la supervisión de razonamiento (CoT/GRPO) no mejora consistentemente la precisión de la etiqueta dura respecto al ajuste fino directo, permite la generación de justificaciones estructuradas en lenguaje natural, ofreciendo un camino hacia decisiones de IA auditables en contextos de seguridad.

Los autores reconocen las limitaciones, señalando que los sistemas basados en LALM requieren sustancialmente más recursos computacionales y que las trazas de razonamiento generadas, aunque plausibles, aún no han sido validadas sistemáticamente por expertos humanos.