💬 NLP

StocksTalk: A Voice-Enabled Conversational Agent for Structured Query Generation over Web Data

StocksTalk es un agente conversacional habilitado para voz y transparente que transforma solicitudes financieras habladas en consultas SQL validadas y ejecutables mediante la combinación de reconocimiento de voz por streaming, extracción de restricciones mediante recuperación aumentada y verificación interactiva de humano en el bucle para superar los enfoques de modelos de lenguaje extensos base en precisión y estabilidad.

Autores originales: Akshat Parmar, Vikranth Udandarao, Abhay Shakya, Tanmay Hire, Avinash Anand, Rajiv Ratn Shah, Daniel Wang Zhengkui

Publicado 2026-08-20

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Akshat Parmar, Vikranth Udandarao, Abhay Shakya, Tanmay Hire, Avinash Anand, Rajiv Ratn Shah, Daniel Wang Zhengkui

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de las finanzas, tomar una decisión a menudo se siente como buscar una aguja en un pajar, pero el pajar está hecho de millones de números, y la aguja es un patrón específico de crecimiento o valor. Durante décadas, los investigadores han intentado enseñar a las computadoras a entender el lenguaje humano para que cualquier persona pudiera hacer una pregunta y obtener una respuesta precisa de una base de datos. Este campo, conocido como text-to-SQL, tiene como objetivo traducir la forma desordenada y flexible en que las personas hablan al lenguaje rígido y exacto que requieren las bases de datos de las computadoras. Sin embargo, la mayoría de estos sistemas han sido probados en condiciones silenciosas y perfectas con texto escrito. Tienen dificultades cuando se enfrentan a la realidad del habla humana, que a menudo está llena de ruido de fondo, acentos y la tendencia natural de hablar con pensamientos incompletos. En el escenario de alto riesgo de las inversiones, donde un solo número malinterpretado puede conducir a un error costoso, la brecha entre lo que una persona dice y lo que una computadora ejecuta es un abismo peligroso.

Un equipo de investigadores del IIIT-Delhi y del Instituto de Tecnología de Singapur ha construido un nuevo sistema llamado StocksTalk para cerrar esta brecha. Crearon un asistente habilitado para voz diseñado específicamente para convertir ideas de inversión habladas en consultas de base de datos válidas y funcionales. A diferencia de otras herramientas anteriores que podrían adivinar la intención de un usuario y esperar lo mejor, StocksTalk está construido para ser transparente y cauteloso. Trata el proceso de encontrar acciones no como un único salto de lógica, sino como una serie de pasos cuidadosos donde la computadora verifica su propio trabajo e invita al humano a hacer lo mismo. El sistema escucha al usuario hablar, descompone la oración en reglas financieras específicas, verifica esas reglas contra una base de datos de mercado en tiempo real y luego muestra al usuario exactamente qué planea hacer antes de ejecutar realmente la búsqueda.

Los investigadores probaron este sistema con un conjunto cuidadosamente preparado de 150 prompts hablados, que cubrían tres tipos diferentes de estrategias de inversión: buscar empresas de rápido crecimiento, encontrar acciones que paguen dividendos regulares y buscar activos infravalorados. Grabaron estos prompts en dos entornos muy diferentes: uno en una habitación silenciosa y otro en una cafetería ruidosa para simular distracciones del mundo real. Los resultados mostraron que, si bien un modelo de inteligencia artificial estándar y sin asistencia podía generar una consulta aproximadamente el 81 por ciento de las veces sin colapsar, a menudo producía respuestas que eran lógicamente inconsistentes o financieramente sin sentido. Al añadir capas de verificación y un método para recuperar definiciones financieras específicas durante el proceso, el sistema mejoró su capacidad para generar consultas correctas a casi el 98 por ciento. Más importante aún, la capacidad del sistema para mantenerse en el camino durante una conversación de ida y vuelta mejoró drásticamente, saltando de aproximadamente un 51 por ciento de precisión a casi un 89 por ciento cuando se le permite al humano verificar los pasos en el camino.

El núcleo del éxito del sistema reside en cómo maneja la incertidumbre del habla humana. Cuando un usuario dice algo como "busca acciones tecnológicas grandes con márgenes en mejora", el sistema no dispara inmediatamente una búsqueda. En su lugar, primero convierte la voz en texto, luego utiliza un sistema de recuperación para buscar exactamente qué significa "márgenes en mejora" en el contexto de la base de datos específica que está utilizando. Luego construye una consulta borrador y la muestra al usuario en un tablero de control (dashboard). Este tablero muestra las reglas extraídas, los operadores matemáticos que eligió y el código final que pretende ejecutar. El usuario puede ver si la computadora malinterpretó un número o una categoría y corregirlo antes de que comience la búsqueda. Este enfoque de "humano en el bucle" (human-in-the-loop) resultó esencial, particularmente para solicitudes complejas que involucran múltiples condiciones, donde el sistema por sí solo habría cometido errores en casi una de cada tres tentativas.

El estudio también destacó que el mayor obstáculo sigue siendo la calidad del reconocimiento de voz en sí. Cuando el audio fue grabado en un entorno ruidoso, la capacidad del sistema para identificar correctamente números específicos y términos financieros disminuyó significamente, lo que condujo a más errores en la consulta final. Esto sugiere que, si bien las capas de lógica y verificación son robustas, el paso inicial de escuchar claramente al usuario sigue siendo la parte más frágil de la cadena. Los investigadores encontraron que su método de dividir el problema en etapas más pequeñas y verificables evitó que el sistema acumulara pequeños errores en grandes fallos. Por ejemplo, en una conversación de varios turnos donde un usuario refina su búsqueda, el sistema sin verificación humana a menudo perdía el rastro de las restricciones originales, mientras que la versión interactiva mantuvo el camino correcto casi el 90 por ciento de las veces.

Mirando hacia el futuro, el equipo visualiza expandir este enfoque para incluir noticias de última hora e informes de ganancias, permitiendo al sistema responder preguntas como "¿qué empresas superaron sus estimaciones de beneficios el trimestre pasado?" al extraer datos frescos a medida que llegan. También planean permitir que el sistema compare nuevos hallazgos con la cartera existente de un usuario, permitiendo consejos más personalizados. El trabajo demuestra que, para tareas complejas y de alto riesgo, el camino más confiable no es construir una máquina que intente ser perfecta por sí sola, sino construir una máquina que sepa cuándo hacer una pausa, mostrar su trabajo y pedir ayuda. Al hacer que el proceso de razonamiento sea visible y editable, StocksTalk convierte una caja negra de inteligencia artificial en una herramienta colaborativa, asegurando que la respuesta final no sea solo una suposición, sino un hecho verificado listo para el mundo real.

Resumen Técnico: StocksTalk

Planteamiento del Problema

El artículo aborda el desafío de mapear lenguaje natural hablado, no restringido y con ruido, en consultas SQL estructuradas y ejecutables para el filtrado financiero. Aunque los sistemas de texto a SQL han avanzado, suelen asumir una entrada textual limpia y esquemas fijos, fallando al no considerar las complejidades específicas del dominio financiero real. Estas complejidades incluyen:

Entrada con Ruido: Errores de transcripción y ambigüedad inherentes a la interacción hablada.
Especificidad del Dominio: La necesidad de fundamentar el lenguaje natural en métricas financieras precisas (por ejemplo, ratio P/E, deuda sobre capital propio) y normalizar unidades (porcentajes frente a valores absolutos).
Consistencia Lógica: El requisito de prevenir construcciones de consultas lógicamente inconsistentes y alinear los calificadores temporales con los campos de datos disponibles.
Interpretabilidad: La falta de transparencia en los agentes existentes de "caja negra", que a menudo no exponen los pasos de razonamiento intermedio al usuario.

Los autores plantean esto como un problema de predicción estructurada interactiva bajo incertidumbre, donde el sistema debe inferir una consulta SQL válida alineada con un esquema predefinido (Screener.in) mientras preserva la intención semántica.

Metodología

StocksTalk es un pipeline modular, nativo de la web, compuesto por cuatro etapas integradas, diseñado para transformar consultas habladas en consultas SQL validadas con verificación de humano en el bucle (HITL).

1. Capa de Interacción de Voz

El sistema utiliza una interfaz de voz a texto de streaming (ElevenLabs STT) para convertir las expresiones habladas en texto estructurado. Esta capa preserva las claves del discurso necesarias para la recuperación y rastrea los estados de diálogo de múltiples turnos, produciendo una representación intermedia estable para el procesamiento posterior.

2. Comprensión de la Intención con Generación Aumentada por Recuperación

Las expresiones transcritas son procesadas por un motor de Generación Aumentada por Recuperación (RAG) basado en GPT-4o.

Base de Conocimientos: Se recupera en el momento de la inferencia una base de conocimientos financieros curada que contiene definiciones de métricas, convenciones de operadores y taxonomías de sectores para el esquema de Screener.in.
Función: Esta capa fundamenta la extracción de restricciones para reducir las alucinaciones, analiza la intención para extraer restricciones (umbrales de valoración, preferencias de sector, filtros de crecimiento) y retiene el contexto a través de conversaciones de múltiples turnos.

3. Inducción de Consultas Estructuradas

Las restricciones extraídas se mapean en consultas similares a SQL ejecutables mediante un módulo de generación restringida.

Decodificación Restringida: El sistema impone coherencia lógica y financiera, identifica operadores relacionales y evita estructuras malformadas.
Síntesis Explicativa: El SQL generado se expone para la auditabilidad, permitiendo a los usuarios verificar la estructura de la consulta antes de su ejecución.

4. Integración de Datos Web en Tiempo Real y Dashboard HITL

La consulta validada se ejecuta contra la API de datos de mercado en vivo de Screener.in. El sistema cuenta con un dashboard interactivo (Flask/SSE) que visualiza todas las etapas del pipeline:

Transparencia: Los usuarios ven las restricciones extraídas, las métricas normalizadas y el SQL generado.
Verificación: Los usuarios pueden confirmar o corregir las representaciones intermedias (específicamente las restricciones) antes de que se ejecute la consulta, implementando un paso de verificación de humano en el bucle.

Contribuciones Clave

El artículo describe tres contribuciones principales:

Un Pipeline Modular: Un sistema de inducción de consultas financieras impulsado por voz que ofrece total transparencia intermedia, integrando voz en streaming, RAG, generación de SQL restringida y validación basada en reglas.
FinScreenBench: Un benchmark curado manualmente de 150 prompts de filtrado financiero hablados. El conjunto de datos abarca tres estrategias de inversión (crecimiento, dividendos, valor) y dos condiciones de ruido de entrada (limpia y con ruido), con consultas SQL de verdad fundamental y una alta concordancia entre anotadores ( $\kappa = 0.87$ ).
Evaluación Empírica: Un análisis que demuestra que la decodificación restringida, la fundamentación RAG y la verificación interactiva abordan modos de fallo distintos y no superpuestos en los sistemas de texto a SQL impulsados por voz.

Resultados

El sistema fue evaluado en el dataset FinScreenBench frente a tres baselines: GPT-4o simple, GPT-4o + RAG, y GPT-4o + RAG + Validación (sin HITL).

Ganancias de Rendimiento: El pipeline completo de StocksTalk logró una Precisión de Extracción de Restricciones (CEA) del 91.2% y una Ejecutabilidad de SQL (EX) del 97.5% en entradas limpias.
Consistencia Lógica: La adición de la capa de validación proporcionó la mayor ganancia individual en la Tasa de Consistencia Lógica (+18.3 puntos porcentuales sobre el baseline de solo RAG), alcanzando un 93.8% para el sistema completo.
Estabilidad de Múltiples Turnos: StocksTalk logró una estabilidad de múltiples turnos del 88.6%, superando significativamente al baseline de GPT-4o simple (51.2%).
Sensibilidad al Ruido: El rendimiento se degradó bajo condiciones de ruido, con la CEA cayendo 12.8 puntos porcentuales y la Estabilidad de Múltiples Turnos 14.3 puntos porcentuales, destacando los errores de transcripción de ASR como el cuello de botella dominante.
Estudio de Ablación: El estudio confirmó que ningún componente subsume a los demás. RAG fue crítico para la extracción de restricciones, la decodificación restringida para la ejecutabilidad y la capa de validación para la consistencia lógica. Eliminar el HITL tuvo un efecto modesto en la ejecutabilidad de un solo turno, pero un impacto negativo significativo en la estabilidad de múltiples turnos.

Significado y Reivindicaciones

El artículo afirma que StocksTalk demuestra que la inducción de consultas financieras impulsada por voz de forma fiable es alcanzable mediante una combinación de fundamentación RAG, generación de SQL restringida, validación basada en reglas y verificación de humano en el bucle.

Los autores enfatizan que la fiabilidad del sistema no proviene de una elección de modelo específica (usando GPT-4o como backbone para todas las comparaciones), sino de la arquitectura del pipeline. Al exponer las representaciones intermedias, el sistema permite a los usuarios intervenir antes de que los errores se propaguen, cerrando eficazmente la brecha entre la intención humana no restringida y los sistemas de datos estructurados. Los autores posicionan a StocksTalk como un paso hacia el análisis financiero conversacional de propósito general, señalando que el trabajo futuro podría extender el sistema para incluir la recuperación de noticias/ganancias, el filtrado consciente de la cartera y flujos de trabajo de agentes autónomos.