Business Truth, not SQL Accuracy: A Rule-Gated 7B Analytics Agent Outperforms a Direct-Prompted 32B Baseline

El Detective contra la Calculadora: Por qué ser correcto importa más que ser rápido

Imagine que se encuentra en una biblioteca gigante y caótica donde millones de libros están siendo reescritos, movidos o desechados constantemente. Usted le pregunta a un bibliotecario: "¿Cuántos libros rojos se vendieron el martes pasado?". Un programa de computadora tradicional actúa como una calculadora superrápida: comienza a buscar inmediatamente, extrae un número y se lo grita de vuelta. Si las matemáticas son perfectas, la computadora se siente orgullosa. Pero, ¿qué pasa si para usted "rojo" significaba "carmesí" pero para el bibliotecario significaba "escarlata"? ¿O qué pasa si los libros rojos fueron trasladados a otro edificio la semana pasada, haciendo que la pregunta sea imposible de responder? La calculadora seguiría dándole un número, pero sería el equivocado, y nadie lo sabría hasta que fuera demasiado tarde.

Este es el mundo de los agentes de analítica de LLM. Estos son sistemas de IA diseñados para hablar con bases de datos (las bibliotecas) y responder preguntas de negocio. Durante mucho tiempo, los científicos midieron su éxito verificando si la IA escribía el "código" (SQL) correcto para hacerle una pregunta a la biblioteca. Es como calificar a un estudiante solo por si usó la gramática correcta, ignorando si realmente entendió la historia. Pero en el mundo real, una oración "perfecta" que conduce a un número erróneo es un desastre. Es como un GPS que te da direcciones perfectas hacia una casa que se quemó el año pasado. El verdadero desafío no es solo escribir el código; es saber cuándo no responder, cuándo pedir una aclaración y cuándo decir: "No puedo ayudar con eso". Este artículo profundiza en este problema desordenado del mundo real, preguntando: ¿Es mejor tener un cerebro gigante y costoso que adivina con confianza, o un detective más pequeño que sigue reglas y lo verifica todo?

La historia de QueryProof: El detective que sigue las reglas

En este estudio, un investigador llamado Morris Lee construyó un nuevo tipo de agente de IA llamado QueryProof. El objetivo era probar una idea audaz: tal vez no necesitamos un "cereza" masivo de 32 mil millones de parámetros para ser inteligentes. Tal vez solo necesitamos un cerebro más pequeño, de 7 mil millones de parámetros, que esté obligado a seguir reglas estrictas y a revisar su propio trabajo.

Para probar esto, el investigador creó un patio de juegos especial llamado WarehouseReliabilityBench. Imagine dos bibliotecas falsas (una para una tienda en línea y otra para una empresa de software) llenas de trampas complicadas. De 400 preguntas, aproximadamente la mitad fueron diseñadas para ser imposibles de responder correctamente con un simple número. Algunas preguntas eran ambiguas (como preguntar por "ingresos" sin decir si se refería a "brutos" o "netos"), algunas pedían datos que no existían y otras intentaban engañar a la IA para que rompiera las reglas. En estos casos, la respuesta correcta no era un número; era una negativa cortés, una solicitud de más detalles o un mensaje de "No puedo hacer eso".

El experimento comparó tres personajes principales:

1. El Cerebro Gigante (32B): Un modelo enorme instado a responder todo directamente. No tenía red de seguridad, ni reglas, ni nadie que revisara su trabajo.
2. El Detective que Sigue las Reglas (QueryProof): Un modelo más pequeño de 7B, pero este estaba envuelto en una "máquina de estados determinista". Piense en esto como un supervisor estricto que obliga a la IA a consultar un libro de reglas antes de hablar. Si la pregunta es ambigua, el supervisor dice: "¡Alto! Pide una aclaración". Si los datos faltan, el supervisor dice: "¡Alto! Niega la respuesta". La IA solo puede hablar si pasa estos controles.
3. La Línea Base de Costo Equivalente: Un modelo más pequeño con algunos ejemplos adicionales (few-shot) para ver si el simple hecho de darle más pistas ayuda.

La Gran Revelación: Las Reglas vencen al Poder Bruto

Los resultados fueron sorprendentes y muy claros. El Cerebro Gigante era confiado pero a menudo erróneo. Intentaba responder a cada una de las preguntas, incluso a las imposibles, y terminaba dando números de negocio incorrectos en la mayoría de ellas. Su "Tasa de Éxito Falso" (la relación entre respuestas incorrectas y todas las respuestas que devolvió) fue de un asombroso 0.754. Era como un estudiante que adivina en todas las preguntas de un examen y obtiene una puntuación alta en "esfuerzo", pero reprueba el examen real.

QueryProof, el detective más pequeño con el libro de reglas, superó por completo al gigante.

• Precisión: QueryProof logró una Tasa de Verdad de Negocio de 0.537 (lo que significa que obtuvo la respuesta correcta o el comportamiento correcto el 53.7% de las veces), mientras que el Cerebro Gigante solo logró un 0.300.
• Seguridad: Cuando QueryProof sí devolvía una respuesta, era incorrecto con menos frecuencia que el Cerebro Gigante. Específicamente, el 35.1% de las respuestas que QueryProof devolvió fueron incorrectas, comparado con el 75.4% de las respuestas devueltas por el Cerebro Gigante. Crucialmente, en las preguntas específicas que podían ser respondidas, el Cerebro Gigante devolvió cero números erróneos que pasaran inadvertidos, mientras que QueryProof devolvió 13 respuestas a preguntas que en realidad requerían aclaración o negativa. La clave de la victoria fue que QueryProof detuvo los "fallos silenciosos" donde se devuelve un número incorrecto sin ninguna advertencia, asegurando que nunca se devolviera un número de negocio erróneo en una tarea que sí podía responderse.
• Costo: Aquí está el detalle. QueryProof fue un 71.0% más barato por respuesta correcta que el Cerebro Gigante. No necesitaba un modelo masivo para ser confiable; necesitaba un buen sistema de controles.

El artículo encontró que la "magia" no estaba en el tamaño del cerebro de la IA. Estaba en la capa determinista: las reglas rígidas que verificaban la pregunta contra la estructura real de la base de datos antes de que la IA hablara. Esta capa actuaba como un portero en un club, deteniendo las malas preguntas antes de que pudieran causar problemas.

Lo que No Funcionó (Y por qué es Importante)

Los investigadores también intentaron añadir algunas características "inteligentes" a QueryProof, con la esperanza de hacerlo aún mejor, pero estas fallaron.

• El Modelo de Confianza: Intentaron enseñar a la IA a "sentir" qué tan segura estaba y a saltarse las preguntas de las que no estaba segura. Esto no funcionó. En la prueba, la confianza aprendida de la IA fue en realidad peor que una regla simple escrita a mano. Era como un estudiante que cree saber la respuesta pero en realidad está adivinando, mientras que la regla simple simplemente estaba siendo honesta.
• El Sistema de Enrutamiento: Intentaron un sistema que enviaría las preguntas difíciles a un modelo más grande. Esto resultó contraproducente en el conjunto de prueba, causando que la IA negara demasiadas preguntas que podría haber respondido.

El artículo es muy cuidadoso al decir que estos fallos son reales. Las partes "inteligentes" no se generalizaron de la práctica a la prueba real. Lo único que funcionó fue el control aburrido y rígido basado en reglas.

La Captura: ¿Qué tan seguros estamos?

Los investigadores son honestos sobre los límites de su historia.

• El Patio de Juegos: Las bibliotecas eran sintéticas (falsas), construidas a partir de una única semilla. Aunque esto hace que la prueba sea justa y reproducible, no sabemos con certeza si esto funciona en una empresa real y desordenada con décadas de datos malos.
• La "Filtración": Los investigadores admitieron que durante la configuración, accidentalmente encontraron algunas frases específicas que coincidían con las preguntas de la prueba. Las eliminaron antes de la prueba final, pero reconocen que la prueba no es perfectamente "limpia" porque conocían las preguntas mientras construían las reglas. Tratan los resultados como una "evaluación congelada" con un fallo conocido, no como una prueba perfecta.
• Las Estadísticas: Cuando volvieron a realizar los cálculos utilizando "familias" de preguntas en lugar de preguntas individuales, los intervalos de confianza se ampliaron. Esto significa que la dirección del resultado (Reglas > Poder Bruto) es probablemente cierta, pero el tamaño exacto de la victoria podría ser un poco difuso.

La Conclusión

La principal lección aquí es que para la analítica de negocios, la confiabilidad proviene de la estructura, no solo del tamaño. Una IA más pequeña, cuando está envuelta en un sistema estricto de reglas que verifica los datos y la pregunta antes de responder, puede ser más precisa, más segura y más barata que una IA masiva que simplemente adivina.

El artículo sugiere que si quieres una IA que no le mienta a tu jefe, no deberías simplemente comprar un modelo más grande. Deberías construir un mejor "libro de reglas" y un "portero" para revisar el trabajo. Las partes de aprendizaje "inteligentes" (como las puntuaciones de confianza) pueden ser algo agradable de tener, pero en este caso específico, no ayudaron. El verdadero héroe fue el control aburrido y determinista que decía: "Espera, asegurémonos de que esta pregunta tenga sentido antes de responder".