Bounded Semantic Planning and Deterministic Compilation for Reliable Enterprise Text-to-SQL

En el mundo de los negocios modernos, los datos suelen estar encerrados en vastos y complejos almacenes digitales. Hacer una pregunta sencilla como "¿Cuántas pólizas vendió el agente dos el año pasado?" requiere navegar por un laberinto de tablas, relaciones y reglas que definen cómo opera la empresa. Durante años, los investigadores han intentado enseñar a las computadoras a traducir estas preguntas en lenguaje natural directamente al código específico necesario para extraer las respuestas. Esto es la promesa del text-to-SQL: una máquina que entiende la intención humana y escribe las instrucciones correctas para recuperar los datos. Sin embargo, persiste un problema significativo. Cuando una computadora escribe estas instrucciones por sí misma, a menudo produce código que se ejecuta perfectamente pero devuelve la respuesta incorrecta. Podría conectar las piezas de información equivocadas o contar las cosas de la manera incorrecta, creando un resultado que parece plausible pero que es fundamentalmente erróneo. Esto es peligroso en un entorno empresarial, donde un número equivocado puede conducir a malas decisiones de negocio.

Un nuevo estudio explora un enfoque diferente para resolver este problema de fiabilidad. En lugar de pedirle a una inteligencia artificial que escriba todo el código desde cero, los investigadores construyeron un sistema donde la IA actúa como un guía en lugar de un constructor. El trabajo de la IA se limita a comprender la pregunta y seleccionar de una lista preaprobada de rutas y relaciones válidas. Una vez que la IA realiza su selección, un programa informático separado y rígido toma el control. Este programa traduce la selección en el código final, asegurando que las conexiones se realen correctamente y que las reglas de conteo se sigan exactamente. Los investigadores probaron este método contra el enfoque tradicional de "escribirlo todo" utilizando un complejo conjunto de datos de seguros. Encontraron que el sistema guiado era mucho más fiable, produciendo respuestas correctas casi siempre, mientras que el sistema tradicional generaba con frecuencia código que se ejecutaba pero daba el resultado equivocado.

El núcleo de esta investigación reside en cambiar dónde reside la incertidumbre. En un sistema estándar, el modelo de inteligencia artificial debe decidir todo: qué tablas unir, cómo vincularlas y cómo agregar los números. Debido a que estos modelos generan texto basado en la probabilidad, a veces pueden elegir un camino que es técnicamente posible pero semánticamente erróneo. El nuevo sistema, que el autor llama Compilación de Ruta Semántica (Semantic Path Compilation), traza una línea divisoria estricta. A la inteligencia artificial se le permite fundamentar las palabras de la pregunta en conceptos de negocio específicos y elegir de un conjunto finito de opciones proporcionadas por un mapa de datos curado por humanos. No puede inventar nuevas conexiones ni escribir fragmentos de código. Una vez que la IA hace su elección, un motor determinista toma el volante. Este motor es un software que sigue reglas fijas para convertir la selección de la IA en la consulta de base de datos final. Verifica errores, asegura que la lógica sea sólida y solo libera el código si pasa todas las comprobaciones. Si la elección de la IA no es clara o viola una regla, el sistema se niega a responder en lugar de adivinar.

Para probar esto, los investigadores utilizaron un benchmark basado en los datos de una compañía de seguros, el cual involucra muchas relaciones complejas, tales como los diferentes roles que una persona puede desempeñar (como tomador de la póliza, agente o suscriptor) y cómo esos roles se conectan con las pólizas y los reclamos. Ejecutaron dos sistemas diferentes sobre el mismo conjunto de treinta y ocho preguntas. El primer sistema era el enfoque tradicional, donde la IA generaba el código directamente a partir de la estructura de la base de datos. El segundo sistema era el nuevo enfoque guiado. Ejecutaron cada pregunta tres veces para ver qué tan consistentes eran los resultados. El sistema tradicional tuvo éxito en obtener la respuesta correcta para las tres ejecuciones en solo veintiuna de las treinta y ocho preguntas. En contraste, el sistema guiado tuvo éxito en treinta y siete de las treinta y ocho preguntas. Más importante aún, el sistema tradicional produjo veintinueve instancias donde el código se ejecutó con éxito pero la respuesta fue incorrecta. El sistema guiado produjo cero de tales errores. Cuando fallaba, simplemente se negaba a dar una respuesta, en lugar de proporcionar un número engañoso.

El estudio también analizó qué sucede cuando los datos se alteran ligeramente para exponer errores ocultos. En el conjunto de datos de seguros, algunas preguntas requieren contar elementos a un nivel específico de detalle. Si la computadora une las tablas incorrectamente, podría multiplicar accidentalmente los números, creando un resultado demasiado alto. Los investigadores crearon versiones "contrafácticas" de la base de datos donde estos errores de multiplicación se harían evidentes. Encontraron que el sistema tradicional a menudo no detectaba estos errores, devolviendo números inflados que parecían correctos en los datos originales pero que eran erróneos en los datos modificados. El sistema guiado, debido a que fue obligado a seguir las reglas estrictas del mapa semántico, evitó estas trampas. Produjo consistentemente el conteo correcto, incluso cuando los datos fueron manipulados para engañar a un sistema menos cuidadoso.

Los investigadores fueron cuidadosos en señalar que su éxito provino de que todo el sistema trabajara en conjunto, no solo del nuevo motor de software. El sistema guiado tenía acceso a un mapa detallado de las reglas de negocio escrito por humanos, el cual el sistema tradicional no tenía. Esto significa que la mejora es el resultado de combinar un mejor conocimiento con un proceso más cuidadoso. El estudio no afirma que el nuevo método funcionará para cualquier pregunta posible o que elimina toda la incertidumbre. La inteligencia artificial todavía tiene que realizar la elección inicial, y si las reglas de negocio no están debidamente definidas en el mapa, el sistema se negará a responder. Sin embargo, para el tipo específico de preguntas complejas y cargadas de reglas encontradas en este dominio de seguros, la combinación de una IA guiada y un compilador rígido demostró ser una forma poderosa de asegurar la fiabilidad.

Los hallazgos sugieren un cambio en cómo podríamos construir estas herramientas para el futuro. En lugar de esperar que un modelo de lenguaje de gran tamaño acierte la lógica compleja cada vez, podemos construir sistemas que constriñan al modelo para que tome decisiones seguras y luego usar software determinista para ejecutarlas. Este enfoque intercambia algo de flexibilidad por un grado mucho mayor de confianza. En un mundo donde los datos impulsan decisiones de negocio críticas, la capacidad de decir "no lo sé" en lugar de "aquí tiene una respuesta incorrecta" es una ventaja significativa. El estudio muestra que, al trasladar el trabajo pesado de la lógica y la conexión del modelo probabilístico a un motor basado en reglas, podemos lograr un nivel de consistencia que antes era difícil de alcanzar. El resultado es un sistema que no solo es inteligente, sino también confiable.