Sophrosyne: Agentic Exploration of Relational Data Systems Needs Moderation

Resumen Técnico: Sophrosyne – La exploración de sistemas de datos relacionales requiere moderación

Planteamiento del problema
Los agentes Text2SQL impulsados por Modelos de Lenguaje de Gran Escala (LLM) dependen cada vez más de las llamadas a herramientas para explorar sistemas de datos antes de formular consultas SQL. Para garantizar la seguridad y el acceso delimitado, los sistemas de datos exponen estos agentes a través de superficies de API explícitas. Los autores identifican un compromiso fundamental en el diseño de estas API:

• API de grano grueso (Coarse-grained): Proporcionan todo el esquema de la base de datos de antemano. Si bien esto otorga al agente visibilidad total, incurre en costos de tokens prohibitivos, ya que el agente debe procesar elementos de esquema irrelevantes para cada consulta.
• API de grano fino (Fine-grained): Permiten una exploración progresiva (por ejemplo, listar tablas primero, luego inspeccionar esquemas específicos). Aunque son eficientes en términos de tokens, la falta de visibilidad global del esquema obliga a los agentes a realizar una "sobre-exploración". Los agentes, incapaces de saber a priori qué tablas son relevantes, suelen inspeccionar tablas irrelevantes e incorporarlas en la construcción de la consulta, lo que conduce a una generación de SQL inexacta.

El artículo postula que la mayoría de los sistemas de datos modernos (por ejemplo, Amazon Redshift, GCP BigQuery, Supabase) exponen APIs de grano fino, lo que inadvertidamente hace que los agentes sean propensos a la sobre-exploración y a una reducción de la precisión.

Metodología: El sistema Sophrosyne
Los autores proponen Sophrosyne, un entorno de sistema de datos diseñado para mitigar la sobre-exploración dentro de contextos de API de grano fino sin sacrificar los beneficios de costo de la exploración progresiva.

• Mecanismo central (Directivas): Sophrosyne aumenta la respuesta estándar de la API (específicamente la llamada list_tables, que es típicamente la primera llamada de herramienta del agente) con directivas. Estas directivas informan explícitamente al agente qué tablas son probablemente irrelevantes para la consulta de lenguaje natural actual, limitando así su futura exploración.
• Implementación:
  • Fase offline: Se construye un índice de búsqueda híbrido (HIcol) sobre nombres de columnas individuales. Este índice combina un índice IVF para similitud semántica y un índice BM25 para coincidencia de palabras clave, utilizando resultados fusionados mediante la fusión de rango recíproco (reciprocal rank fusion).
  • Fase online: Cuando un agente solicita una lista de tablas, Sophrosyne:
    1. Infiere posibles nombres de columnas relevantes a partir de la consulta del usuario (usando un modelo económico).
    2. Busca en el índice HIcol con estos nombres inferidos para identificar las tablas más relevantes.
    3. Computa el conjunto de tablas irrelevantes (aquellas que no están en los resultados de la búsqueda).
    4. Devuelve la lista de tablas estándar junto con una directiva que enumera las tablas irrelevantes.
• Configuración de evaluación: El sistema fue evaluado utilizando un servidor MCP para SQLite que expone una API de grano fino. El agente (basado en OpenCode) fue probado con 157 consultas del benchmark BIRD LiveSQLBench utilizando tres modelos: GPT-5.4-mini, GPT-5.4 y Claude Sonnet 4.5.
• Comparaciones de línea base: El estudio comparó tres configuraciones:
  1. Sin directivas: Exposición de API de grano fino estándar.
  2. Sophrosyne: Utiliza las directivas computadas (imperfectas).
  3. Sophrosyne-Oracle: Utiliza directivas perfectas derivadas de las consultas de verdad fundamental (representando un límite superior de rendimiento).

Resultados clave

• Reducción de la sobre-exploración: La introducción de directivas redujo significativamente el número de llamadas de herramientas exploratorias. Sophrosyne redujo la sobre-exploración hasta en 4.6× en comparación con la línea base. La variante Oracle la redujo aún más.
• Mejoras en la precisión: Al evitar que los agentes incorporen tablas irrelevantes en su lógica, Sophrosyne mejoró la precisión de la ejecución de SQL. Los mejores resultados mostraron una mejora de precisión de hasta un 12.4% (aproximadamente 4 puntos porcentuales) sobre la línea base.
• Eficiencia de tokens: Aunque la exploración de grano fino ya es eficiente en comparación con la de grano grueso, Sophrosyne redujo aún más el consumo de tokens al limitar los elementos del esquema que el agente procesa. Por ejemplo, en Sonnet-4.5, los tokens de entrada se redujeron de 8.74M a 8.00M.
• Análisis de costos: La sobrecarga para computar las directivas (inferir columnas y embeberlas) fue de aproximadamente 8 centavos por ejecución. Para la mayoría de los modelos (Sonnet-4.5 y GPT-5.4), los ahorros derivados del uso reducido de tokens superaron esta sobrecarga. Para GPT-5.4-mini, la sobrecarga superó ligeramente el ahorro de costo base, aunque la precisión también mejoró.

Significancia y reclamos
El artículo afirma ser el primer estudio en categorizar las superficies de API de los sistemas de datos en tipos de grano grueso y de grano fino, y en identificar la sobre-exploración como un síntoma crítico del compromiso inherente al diseño de las API de grano fino.

Los autores argumentan que frenar la sobre-exploración es esencial para el uso efectivo de las APIs de grano fino. Sophrosyne demuestra que los entornos de sistemas de datos pueden guiar activamente el comportamiento del agente a través de directivas ligeras, equilibrando la necesidad de un acceso seguro y delimitado con la necesidad de una generación de consultas precisa. El trabajo sugiere que los futuros agentes de datos y sistemas no solo deberían exponer APIs de forma pasiva, sino que deberían proporcionar contexto activamente (como las directivas) para moderar la exploración del agente, un concepto que los autores llaman "Sophrosyne" (la virtud griega de la prudencia y la moderación).

El artículo concluye que, si bien la computación de directivas perfectas es un desafío, incluso las directivas imperfectas producen ganancias significativas, y el trabajo futuro podría extenderse a entornos de múltiples fuentes y al hint de rendimiento.