🧬 biology

YAPAT — An Open-Source Platform for Active and Weakly Supervised Annotation of Passive Acoustic Monitoring Data

YAPAT es una plataforma de código abierto basada en la web que optimiza la anotación a gran escala de datos de monitoreo acústico pasivo mediante la integración de etiquetado basado en ontologías, aprendizaje activo de etiquetas múltiples y mecanismos duales de inicio en frío para reducir el esfuerzo experto y producir conjuntos de datos interoperables de alta calidad.

Autores originales: Thiago S. Gouvêa, Rida Saghir, Prathmesh P. Doddanawar, Novruz Mammadli, Pratik P. Sitapara, Hannes Kath, Daniel Sonntag

Publicado 2026-07-31

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Thiago S. Gouvêa, Rida Saghir, Prathmesh P. Doddanawar, Novruz Mammadli, Pratik P. Sitapara, Hannes Kath, Daniel Sonntag

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Esta es una explicación generada por IA de un preprint que no ha sido revisado por pares. No es consejo médico. No tome decisiones de salud basándose en este contenido. Leer descargo de responsabilidad completo

Imagina el mundo natural como una gigantesca estación de radio de 24 horas que nunca deja de transmitir. En lugar de música, reproduce las canciones de ranas, aves, insectos y ballenas. Los científicos utilizan micrófonos especiales, llamados unidades de Monitoreo Acústico Pasivo (PAM por sus siglas en inglés), para grabar estos sonidos durante días, semanas o incluso años. Este es un superpoder para comprender la naturaleza porque les permite escuchar ecosistemas enteros sin tener que pisarlos ni asustar a los animales. Sin embargo, hay un problema masivo: estos micrófonos graban tanto audio que los archivos se acumulan en una montaña demasiado grande para que cualquier humano pueda escucharlos y anotarlos. Es como intentar leer cada uno de los libros de una biblioteca del tamaño de una ciudad, pero los libros están hechos de sonido.

Para resolver esto, los científicos usan computadoras para ayudar a escuchar. Pero las computadoras solo son tan inteligentes como los ejemplos con los que se les enseña. Para enseñar a una computadora a reconocer el canto de una rana específica, un experto humano primero tiene que escuchar miles de grabaciones y etiquetarlas, diciendo: "Sí, esto es una rana", o "No, esto es solo viento". Este proceso es lento, aburrido y costoso. Si los expertos están demasiado ocupados etiquetando, las computadoras no pueden aprender, y las montañas de datos de audio se quedan ahí, inútiles. La gran pregunta en este campo es: ¿Cómo podemos lograr que las computadoras aprendan de estos enormes archivos de audio sin necesidad de que un humano escuche cada segundo primero?

Aquí es donde entra una nueva herramienta llamada YAPAT (Yet Another PAM Annotation Tool). Piensa en YAPAT como un juego de detective interactivo y de alta tecnología para los sonidos de la naturaleza. En lugar de obligar a un humano a escuchar cada grabación una por una, YAPAT utiliza una mezcla ingeniosa de trucos computacionales para hacer el trabajo pesado. Comienza dividiendo los largos archivos de audio en pequeños fragmentos de 3 segundos. Luego, utiliza un "cerebro" preentrenado (llamado BirdNET) para convertir cada fragmento en una huella digital única.

La magia ocurre en cómo YAPAT ayuda al experto humano. Imagina que estás mirando un mapa gigante de todas estas huellas digitales de sonido. YAPAT no solo te muestra una lista aleatoria; actúa como un guía inteligente. Tiene tres formas principales de ayudarte a comenzar, incluso si empiezas con cero datos etiquetados:

La búsqueda de "similares": Si tienes una grabación clara de un animal específico, puedes subirla. YAPAT encuentra instantáneamente todos los otros clips de 3 segundos en tu enorme archivo que suenan similares, permitiéndote etiquetar un montón de ellos a la vez.
La suposición a "nivel de archivo": Si tienes una carpeta de grabaciones donde solo sabes qué animal estaba en el archivo (pero no exactamente cuándo), YAPAT puede usar una técnica llamada "supervisión débil" para adivinar dónde en el archivo está cantando el animal. Es como mirar una foto de una fiesta y tratar de adivinar quién está bailando basándose en la energía de la multitud, incluso si no filmaste directamente la pista de baile.
El "clasificador inteligente": Una vez que la computadora comienza a aprender, deja de mostrarte clips aleatorios. En su lugar, utiliza un sistema de puntuación especial para mostrarte los clips sobre los que está más confundida, o los que son más diferentes de lo que ya sabe. Esto asegura que el experto humano dedique su tiempo solo a los clips que más enseñarán a la computadora, en lugar de perder el tiempo con ejemplos fáciles o aburridos.

YAPAT también conecta estas etiquetas de sonido con diccionarios científicos oficiales (ontologías), asegurando que cuando un científico diga "rana arborícola", signifique exactamente lo mismo para todos en el mundo, haciendo que los datos sean reutilizables para futuras investigaciones.

El artículo presenta a YAPAT como una plataforma basada en la web que reúne todas estas características en un solo lugar. Los autores probaron el sistema con un conjunto de datos real llamado AnuraSet, que contiene más de 30,000 clips de sonido de ranas. Encontraron que el sistema funciona lo suficientemente rápido como para ser interactivo. Por ejemplo, buscar sonidos similares toma menos de un segundo, incluso con miles de clips. Entrenar a la computadora para reconocer nuevos patrones toma solo unos pocos segundos en una computadora estándar, o incluso más rápido en una computadora potente. El sistema está diseñado para ser de código abierto, lo que significa que cualquiera puede descargarlo, configurarlo en su propio servidor y comenzar a organizar sus propios archivos de sonido.

Los autores advierten cuidadosamente que, si bien YAPAT es una herramienta poderosa, no es una varita mágica que lo resuelve todo instantáneamente. Depende del cerebro "BirdNET", que fue entrenado originalmente para aves, por lo que podría no ser perfecto para cada tipo de animal (como murciélagos o ballenas) sin algunos ajustes adicionales. Además, el sistema actualmente corta los sonidos en fragmentos fijos de 3 segundos, lo que significa que no puede determinar el milisegundo exacto en que un sonido comienza o termina si este cae justo en el borde de un corte. Sin embargo, al combinar la búsqueda inteligente, la supervisión débil y el aprendizaje activo, YAPAT logra cerrar la brecha entre los archivos de audio masivos e inmanejables y los datos etiquetados de alta calidad que los científicos necesitan para comprender la biodiversidad de nuestro planeta. Convierte la tarea imposible de escucharlo todo en un juego manejable y colaborativo donde humanos y computadoras trabajan juntos para decodificar la canción de la naturaleza.

Resumen Técnico: YAPAT — Una plataforma de código abierto para la anotación activa y débilmente supervisada de datos de monitoreo acústico pasivo

1. Planteamiento del problema

El Monitoreo Acústico Pasivo (PAM, por sus siglas en inglés) permite la evaluación no invasiva y a gran escala de la biodiversidad animal, pero genera archivos de audio que exceden la capacidad de los expertos en el dominio para su anotación manual. Si bien el aprendizaje automático (ML) puede automatizar la detección de especies, requiere datos de entrenamiento etiquetados de alta calidad, lo que crea un cuello de botella donde las aplicaciones se ven restringidas a taxones y hábitats con modelos preentrenados o conjuntos de datos etiquetados existentes.

Las herramientas de anotación actuales abordan fragmentos de este desafío: el software de escritorio (por ejemplo, Raven Pro) ofrece visualización de espectrogramas; las herramientas automatizadas (por ejemplo, BirdNET-Analyzer) proporcionan inferencia; y las plataformas web (por ejemplo, ARBIMON, Whombat) admiten flujos de trabajo colaborativos. Sin embargo, ninguna herramienta existente soporta el ciclo completo de anotación requerido para producir conjuntos de datos interoperables y de alta calidad a escala. Específicamente, las soluciones actuales carecen de la integración conjunta de:

Espacios de etiquetas fundamentados en ontologías.
Detección de eventos de sonido débilmente supervisada (WSSED) para escenarios de inicio en frío (cold-start).
Aprendizaje activo (AL) combinado con búsqueda de similitud de vectores.
Proyecciones interactivas del espacio de embeddings para la anotación exploratoria.

2. Metodología y arquitectura del sistema

YAPAT (Yet Another PAM Annotation Tool) es una plataforma web de código abierto diseñada para flujos de trabajo de aprendizaje automático interactivo en la curaduría de PAM. El sistema se basa en una arquitectura cliente-servidor:

Backend: Python (FastAPI, SQLAlchemy) con una base de datos PostgreSQL extendida por pgvector para una recuperación eficiente de similitud de coseno. Las tareas de larga duración (generación de embeddings, inferencia, reentrenamiento) se gestionan de forma asíncrona mediante Celery y Redis.
Frontend: TypeScript (React 18, Vite, Tailwind CSS) que se ejecuta en el navegador, utilizando WebGL para la renderización de proyecciones 2D y JavaScript del lado del cliente para el cómputo de mel-espectrogramas.
Modelo de Embeddings: El sistema utiliza embeddings de BirdNET congelados (vectores de 1024 dimensiones provenientes de ventanas de 3 segundos y 48 kHz) como la representación de características principal.

Flujo de trabajo central:

Ingestión: Las grabaciones de campo se segmentan en fragmentos (snippets) de longitud fija (predeterminado 3s) y no superpuestos.
Generación de Embeddings: Los fragmentos se transforman en embeddings usando BirdNET y se almacenan en la base de datos.
Interfaz de Anotación: Los usuarios interactúan con un flujo paginado de tarjetas de fragmentos que contienen reproductores de audio, espectrogramas y campos de entrada multietiqueta.
Bucle de Retroalimentación: Las anotaciones activan el reentrenamiento asíncrono de un clasificador lineal sobre los embeddings congelados.

3. Contribuciones clave

YAPAT se distingue por integrar cuatro capacidades que están ausentes en combinación en herramientas previas:

A. Espacios de etiquetas fundamentados en ontologías
Las etiquetas se vinculan en el momento de la anotación con taxonomías biológicas (GBIF) y ambientales (ENVO) de autoridad. El sistema admite conceptos locales explícitos como alternativas, asegurando la interoperabilidad y el reúso de los conjuntos de datos.

B. Aprendizaje Activo (AL) Multietiqueta
YAPAT emplea una puntuación de adquisición compuesta para clasificar los fragmentos no etiquetados, equilibrando tres criterios:

Incertidumbre: Entropía de Bernoulli media por etiqueta sobre el alcance de la etiqueta activa.
Diversidad: Distancia desde el embedding de un fragmento hasta su vecino más cercano etiquetado (fomentando la cobertura de regiones poco exploradas).
Densidad: Una estimación de densidad de k-vecinos más cercanos dentro del grupo no etiquetado (reduciendo el peso de los valores atípicos aislados).
Los fragmentos se clasifican mediante esta puntuación compuesta para dirigir el esfuerzo experto hacia las muestras más informativas.

C. Mecanismos duales de Inicio en Frío (Cold-Start)
Para abordar el problema del "inicio en frío" (la necesidad de datos etiquetados para entrenar un clasificador antes de que la anotación pueda comenzar), YAPAT ofrece dos enfoques:

Similitud de Vectores basada en Carga de Archivos: Los usuarios cargan un clip de referencia (por ejemplo, de una biblioteca de sonidos). El sistema genera el embedding de este clip y recupera los vecinos más cercanos en el conjunto de datos mediante similitud de coseno, permitiendo que la anotación comience sin un clasificador previo.
Detección de Eventos de Sonido Débilmente Supervisada (WSSED): Utilizando Aprendizaje de Múltiples Instancias (MIL), el sistema entrena un clasificador lineal sobre "bolsas" (bags) de segmentos de 3 segundos derivados de colecciones etiquetadas a nivel de archivo (por ejemplo, Xeno-Canto, FNJV). Esto cierra la brecha de dominio entre las grabaciones focales limpias y los datos de PAM ruidosos, proporcionando predicciones iniciales para arrancar el ciclo de AL.

D. Proyección Interactiva de Embeddings en 2D
La plataforma renderiza un gráfico de dispersión interactivo del espacio de embeddings de BirdNET utilizando reducción de dimensionalidad seleccionable por el usuario (PCA, t-SNE, UMAP, Isomap). Los puntos están codificados por colores según su estado de anotación. Al hacer clic en un punto, se resalta el fragmento correspondiente en el flujo de anotación, acoplando la exploración espacial con el flujo de trabajo de anotación.

4. Resultados y Benchmarks de Escalabilidad

El sistema fue evaluado utilizando AnuraSet (30,687 fragmentos de 1,612 grabaciones).

Ingestión y Generación de Embeddings: La extracción de embeddings escala linealmente ( $O(N)$ ). En una estación de trabajo con un CPU AMD EPYC, la generación completa de embeddings del conjunto de datos toma ~150s; con una única GPU NVIDIA RTX PRO 6000, toma ~52s (aproximadamente 3 veces más rápido).
Búsqueda de Similitud: Las consultas de similitud de vectores exhiben una latencia casi constante (~0.56s) en todo el rango del conjunto de datos, manteniéndose dentro de los tiempos de respuesta interactivos.
Puntuación de Aprendizaje Activo:
- La puntuación de incertidumbre es casi constante (~0.03–0.12s).
- La puntuación de densidad escala como $O(N \log N)$ , alcanzando ~1.6s.
- La puntuación de diversidad (comparando no etiquetados con conjuntos etiquetados) es el costo dominante, escalando como $O(N \cdot N_l)$ , alcanzando ~4.1s a escala completa. A pesar de esto, todas las operaciones permanecen dentro de los límites interactivos para sesiones realistas.
Reentrenamiento: La actualización de la cabeza lineal escala linealmente con el número de fragmentos etiquetados ( $O(N_l)$ ). La aceleración por GPU proporciona una mejora de 14 a 23 veces respecto al CPU. Para ciclos iniciales típicos ( $N_l < 2,000$ ), el reentrenamiento en CPU se completa en menos de 9 segundos sin bloquear la interfaz.
Rendimiento del Frontend: La renderización WebGL de la proyección de embeddings permanece constante (~0.11s) independientemente del tamaño del conjunto de datos. La carga inicial de la página para el conjunto de datos completo es de ~2.2s.

5. Significación y Reivindicaciones

El artículo afirma que YAPAT es la primera herramienta que soporta conjuntamente etiquetas fundamentadas en ontologías, supervisión débil, aprendizaje activo con similitud de vectores y proyección interactiva de embeddings en un entorno colaborativo basado en el navegador.

Interoperabilidad: Al fundamentar las etiquetas en GBIF y ENVO, YAPAT produce conjuntos de datos adecuados para su depósito en repositorios públicos y análisis posteriores.
Eficiencia: La combinación de mecanismos de inicio en frío y aprendizaje activo de múltiples criterios reduce significamente el esfuerzo experto requerido para producir conjuntos de datos bien etiquetados, particularmente para taxones que carecen de modelos preexistentes.
Capacidad de Despliegue: El sistema es de código abierto, está contenedorizado (Docker) y no requiere instalación en el cliente más allá de un navegador web.

Limitaciones Reconocidas:

Dependencia de Embeddings: La arquitectura actual depende de BirdNET, que está entrenado en vocalizaciones de aves y puede no generalizarse de la misma manera a otros taxones (aunque la transferencia a anuros fue exitosa).
Granularidad de la Anotación: Los fragmentos son de longitud fija y no superpuestos, lo que impide la delineación temporal de eventos que abarcan los límites de la ventana o anotaciones específicas de frecuencia dentro de un fragmento.
Restricciones de Entrenamiento: El clasificador es una cabeza lineal sobre embeddings congelados; no soporta el ajuste fino (fine-tuning) del codificador ni aumentación de datos avanzada.
Datos No Etiquetados: Los fragmentos no etiquetados no contribuyen al entrenamiento del clasificador (sin aprendizaje semi-supervisado), dejando un gran volumen de datos sin utilizar.
Complejidad de Configuración: Aunque es de código abierto, la configuración inicial del servidor requiere asistencia de TI y no es una instalación de "un solo clic" para usuarios no técnicos.

Los autores posicionan a YAPAT no como un reemplazo para todas las herramientas existentes, sino como una plataforma integral que llena el vacío en la producción de conjuntos de datos de PAM de alta calidad e interoperables a escala mediante un flujo de trabajo integrado de humano en el bucle (human-in-the-loop).