LEDGER: Deterministic Checks and Auditable Evaluation for Business AI Systems
El artículo presenta LEDGER, una plataforma de evaluación que permite a las empresas crear pruebas deterministas, auditables y conscientes del costo para sus sistemas de IA de negocio utilizando datos propietarios, demostrando cómo un modelo de pesos abiertos alojado localmente puede alcanzar una precisión de nivel de frontera a una fracción del costo de las alternativas propietarias.
Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
En el entorno laboral moderno, las empresas dependen cada vez más de la inteligencia artificial para responder preguntas sobre sus propios datos internos. Un gerente de ingeniería podría preguntar cuántos cambios de código se revisaron la semana pasada, o un analista financiero podría solicitar el promedio de tiempo que tomó resolver un tipo específico de error. Estos sistemas no son solo un único programa informático pensando en el vacío; son ensamblajes complejos donde un modelo de lenguaje está conectado a las bases de datos privadas de la empresa, guiado por reglas estrictas sobre lo que puede y no puede revelar, y gestionado por software que decide qué herramientas utilizar. El desafío para cualquier empresa es que estos sistemas son frágiles. Un pequeño cambio en el modelo, en las reglas o en la forma en que el software habla con la base de datos puede hacer que las respuestas sean erróneas de repente. Aunque existen pruebas públicas para clasificar qué tan inteligentes son diferentes modelos de inteligencia artificial en tareas generales, esas puntuaciones no predicen qué tan bien funcionará el sistema específico de una empresa con sus propios datos y reglas únicos. Las empresas necesitan una forma de probar sus propios sistemas repetidamente después de cada cambio, asegurando que las respuestas sigan siendo correctas y que el costo de obtener esas respuestas se mantenga manejable.
Un equipo de investigadores en Interval, una empresa que construye herramientas de inteligencia de negocios, ha creado un nuevo método llamado LEDGER para resolver este problema. En lugar de depender de puntuaciones públicas, LEDGER convierte los propios datos, preguntas y reglas de una empresa en una prueba repetible y rigurosa. El sistema funciona creando escenarios específicos: se plantea una pregunta, se define de antemano una respuesta correcta específica y se prepara un conjunto de evidencia para probar si la respuesta es correcta. Esta evidencia puede ser una instantánea congelada de una consulta de base de datos, una regla de política específica o un cambio registrado en un panel de control de software. Cuando el sistema de inteligencia artificial intenta responder a la pregunta, la plataforma LEDGER verifica el resultado. Si la respuesta es un número simple o un hecho claro, una verificación determinística —un programa informático que sigue una lógica estricta sin suponer— la califica inmediatamente. Si la respuesta está escrita en prosa compleja que la computadora no puede analizar fácilmente, un juez de inteligencia artificial separado la revisa, pero solo después de que una verificación determinística confirme que la evidencia respalda la afirmación. Cada puntuación está vinculada a la evidencia específica que la produjo, creando un rastro claro y auditable que muestra exactamente por qué una respuesta fue marcada como correcta o incorrecta.
Los investigadores utilizaron esta plataforma para construir y probar un asistente de inteligencia de negocios impulsado por DeepSeek V4 Flash, un potente modelo de pesos abiertos que la empresa aloja en sus propios servidores privados. Compararon este sistema construido a medida contra otros siete modelos líderes, incluyendo cinco sistemas propietarios de grandes empresas tecnológicas y otro modelo de pesos abiertos. La comparación fue estricza: a cada sistema se le dieron exactamente las mismas herramientas, los mismos datos y el mismo conjunto de preguntas. Los resultados mostraron que cuando el modelo de pesos abiertos se envolvía en las herramientas y reglas específicas de la empresa, funcionaba tan bien como los modelos propietarios más avanzados. En un conjunto de prueba de 97 escenarios cuidadosamente seleccionados, el sistema personalizado respondió 96 correctamente, mientras que los otros modelos de alto nivel respondieron entre 94 y 97 correctamente. Esto demostró que el "arnés" de herramientas y reglas que rodea al modelo es tan importante como el modelo mismo. Sin estas herramientas y definiciones específicas, el modelo abierto funcionaba ligeramente peor, pero con ellas, alcanzaba el mismo nivel de precisión que los sistemas más caros y de última generación.
El hallazgo más significativo, sin embargo, concernía al costo. Mientras que la precisión era similar en todos los casos, el precio para obtener una respuesta correcta variaba drásticamente. Los investigadores calcularon el costo por respuesta correcta de cada sistema. Los modelos propietarios, que se acceden a través de costosos servicios en la nube, costaban entre seis y setenta y siete veces más por respuesta correcta que el modelo de pesos abiertos alojado por la propia Interval. Incluso cuando los investigadores aplicaron los niveles de precios más económicos disponibles para los modelos propietarios, estos seguían costando significativamente más que la configuración privada de la propia empresa. Esto sugiere que, para las empresas con necesidades de datos específicas, la elección del modelo tiene menos que ver con encontrar el cerebro único más "inteligente" y más con encontrar el equilibrio adecuado entre precisión, control y costo. El estudio argumenta que, mediante el uso de un sistema de prueba riguroso y auditable como LEDGER, las empresas pueden elegir con confianza modelos de alojamiento propio más económicos sin sacrificar el rendimiento, siempre que inviertan en las herramientas y reglas adecuadas para guiarlos.
Los investigadores fueron cuidadosos al notar que sus resultados son específicos para su propia carga de trabajo y la forma particular en que estructuraron sus pruebas. No afirmaron que este modelo de pesos abiertos sea universalmente superior a todos los demás en cualquier situación, ni sugirieron que los ahorros de costos serían idénticos para todas las empresas. El estudio midió el desempeño en un conjunto específico de preguntas de negocios y encontró que, para este tipo de trabajo, un sistema bien diseñado alrededor de un modelo más barato puede igualar los resultados de las opciones más caras. La conclusión clave es que la precisión en las aplicaciones de negocios no es únicamente una propiedad del modelo de inteligencia artificial en sí, sino de todo el sistema construido a su alrededor. Al hacer que el proceso de prueba sea transparente y repetible, las empresas pueden tomar decisiones de ingeniería informadas, alejándose de pagar ciegamente por los modelos más caros y avanzando hacia la construcción de sistemas que sean tanto precisos como económicamente sostenibles.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.