← Últimos artículos
💻 computer science

Influence of Prompt Engineering on Small Language Models for Guarded Query Routing

Este artículo demuestra que las técnicas de ingeniería de prompts, particularmente la optimización de pocos ejemplos (few-shot optimization) y las firmas de DSPy, mejoran significativamente el rendimiento del enrutamiento de consultas custodiadas de los modelos de lenguaje pequeños compactos, permitiéndoles acercarse a la precisión de los modelos frontera más grandes mientras mantienen una baja latencia.

Autores originales: Richard Šléher, William Brach, Kristián Košťál, Lukas Galke Poech

Publicado 2026-07-29
📖 7 min de lectura🧠 Análisis profundo

Autores originales: Richard Šléher, William Brach, Kristián Košťál, Lukas Galke Poech

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que diriges una oficina de correos con mucha actividad y alta tecnología para una biblioteca gigante de conocimiento. Cada día llegan millones de cartas (consultas), pidiendo ayuda con todo, desde contratos legales hasta consejos médicos. Pero aquí está el truco: algunas cartas son peligrosas, otras son disparates y otras simplemente preguntan sobre cosas que la biblioteca no cubre. Si envías una carta peligrosa a un bibliotecario especializado en medicina, podrías obtener una mala respuesta o incluso un peligro para la seguridad. Así que, antes de que cualquier carta llegue a un especialista, debe pasar por un "Guardián" en la puerta principal. Este Guardián tiene dos trabajos: primero, decidir si la carta es segura y si pertenece a la biblioteca; y segundo, si es segura, determinar rápidamente qué experto específico (Derecho, Finanzas o Salud) debería leerla.

Durante mucho tiempo, la gente pensó que necesitabas un robot masivo y superinteligente para ser este Guardián porque el trabajo es complicado. Pero los robots masivos son lentos, caros y hambrientos de electricidad. Este artículo hace una pregunta divertida: ¿Podemos usar "robots de bolsillo" más pequeños, baratos y rápidos (llamados Modelos de Lenguaje Pequeños) para hacer este trabajo de Guardián? El problema es que estos robots más pequeños a veces se confunden. Pueden ser excelentes detectando disparates, pero cuando ven una pregunta real, se vuelven demasiado tímidos para elegir un experto específico, o se olvidan de las reglas del juego. Los investigadores querían ver si podíamos enseñar a estos robots más pequeños a seguir las reglas mejor simplemente cambiando las instrucciones que les damos, sin tener que reconstruir los robots mismos.

El Dilema del Guardián

En el mundo de la inteligencia artificial, tenemos estos "Modelos de Lenguaje Grandes" que son como magos brillantes y omniscientes. Pueden escribir historias, resolver problemas matemáticos y charlar sobre cualquier cosa. Pero son pesados y lentos. Para hacerlos útiles en tareas en tiempo real, a menudo colocamos un "enrutador" frente a ellos. Piensa en este enrutador como un portero en un club. El portero tiene que decidir dos cosas instantáneamente: "¿Está esta persona permitida en la entrada?" (Seguridad/Fuera de Distribución) y "¿A qué sala VIP debe ir?" (Intención/Dentro de Distribución).

Si el portero es demasiado estricto, echa a buenos invitados (rechazando preguntas válidas). Si es demasiado permisivo, deja entrar a alborotadores (preguntas inseguras). El artículo llama a esto "Enrutamiento de Consultas Protegidas" (Guarded Query Routing). El objetivo es encontrar un portero que sea rápido, barato y lo suficientemente preciso como para mantener el club seguro mientras lleva a las personas adecuadas a las habitaciones correctas.

El Experimento: Entrenando a los Robots de Bolsillo

Los investigadores reunieron 22 "robots de bolsillo" (Modelos de Lenguaje Pequeños) diferentes de varios tamaños, que van desde diminutos con 270 millones de "células cerebrales" (parámetros) hasta más grandes con 70 mil millones. Los probaron en una prueba especial llamada GQR-Bench, que es como una pista de obstáculos gigante llena de tres tipos de preguntas válidas (Derecho, Finanzas, Salud) y siete tipos de preguntas complicadas, fuera de tema o peligrosas.

Midieron a los robots usando una puntuación especial llamada GQR-Score, que es un equilibrio entre qué tan bien atraparon las preguntas válidas y qué tan bien rechazaron las malas. Si un robot rechaza todo, obtiene una puntuación baja porque es inútil. Si acepta todo, también obtiene una puntuación baja porque es inseguro.

El Gran Descubrimiento: No es el Tamaño, es la Instrucción

Lo primero que encontró el equipo fue que el tamaño no lo es todo. El robot más grande y poderoso (Gemma 3 27B) obtuvo una puntuación fantástica de 96.01. Pero, ¿adivina qué? Un robot mucho más pequeño (Qwen3.5 9B) obtuvo casi la misma puntuación (94.55) simplemente usando un conjunto estándar de instrucciones. Incluso un robot de tamaño medio (Mistral 7B) lo hizo bastante bien, puntuando 81.79.

Sin embargo, los robots diminutos tenían un problema extraño. Eran demasiado buenos diciendo "¡No!" a todo. Por ejemplo, el robot Granite 4 Tiny tenía tanto miedo de cometer un error que rechazó el 99.75% de todas las preguntas, ¡incluyendo las buenas! Solo logró identificar correctamente las preguntas válidas el 37.29% de las veces. Era como un portero que decidió que la única forma segura de dirigir un club era cerrar las puertas y no dejar entrar a nadie.

El Truco Mágico: El Truco de los "Ejemplos"

Los investigadores se preguntaron: "¿Podemos arreglar estos robots tímidos solo cambiando las instrucciones?". No reentrenaron a los robots (que es como reconstruir sus cerebros); en su lugar, usaron una técnica llamada Ingeniería de Prompts (Prompt Engineering). Esto es como darle al robot una hoja de trucos o un conjunto de ejemplos antes de que empiece a trabajar.

Probaron algunos métodos, pero los resultados dependieron del robot. El método más efectivo para el robot Granite 4 Tiny no fue en realidad el truco de los "ejemplos", sino un formato de instrucción más simple llamado Base de Referencia DSPy. Este método eliminó todo el relleno innecesario y le dio al robot una plantilla estricta y básica. Pasó de una puntuación terrible de 54.29 a un gran 83.05. Dejó de rechazarlo todo y empezó a clasificar el correo.

Para otros robots, como Mistral 7B, el truco de los "ejemplos" (llamado Few-Shot Prompting) fue la verdadera magia. Imagina que estás enseñando a un nuevo empleado cómo clasificar el correo. En lugar de solo decirle "Clasifica el correo", le muestras tres ejemplos:

  1. "Esta carta es sobre una demanda -> Enviar a Derecho."
  2. "Esta carta es sobre acciones -> Enviar a Finanzas."
  3. "Esta carta es sobre un gato -> Enviar al contenedor de 'Rechazados'."

Cuando le dieron estos ejemplos al robot Mistral 7B, saltó de 81.79 a 90.87. El robot Qwen3.5 9B también mejoró con este método, alcanzando 95.74, que es casi tan bueno como el robot gigante, pero funciona mucho más rápido.

El artículo sugiere que el problema no era que los robots pequeños no supieran las respuestas; simplemente no sabían cómo seguir las reglas del juego. Los ejemplos (o la plantilla estricta) les mostraron exactamente qué aspecto tenía una respuesta correcta, e instantáneamente captaron la idea.

El Intercambio: Velocidad vs. Precisión

Hay un pequeño inconveniente, sin embargo. Cuando le das al robot una hoja de trucos con ejemplos, el mensaje que tiene que leer se vuelve más largo. Esto hace que el robot sea ligeramente más lento. El estudio encontró que usar estos ejemplos hizo que los robots tardaran aproximadamente de 2 a 6 veces más en responder a una sola pregunta. Sin embargo, seguían siendo increíblemente rápidos (alrededor de 0.05 a 0.28 segundos por pregunta), lo cual es lo suficientemente rápido para la mayoría de las aplicaciones del mundo real.

Los investigadores también probaron un método más complejo llamado GEPA, que es como tener un robot profesor que reescribe las instrucciones automáticamente. Pero esto no funcionó tan bien como simplemente darle al robot unos pocos ejemplos claros. De hecho, para algunos de los robots más pequeños, la reescritura compleja empeoró las cosas, haciendo que se confundieran de nuevo.

Lo Que Esto Significa para el Futuro

La principal conclusión es que no siempre necesitas el robot más grande y caro para ser un buen Guardián. Un robot más pequeño y barato puede hacer el trabajo igual de bien si le das las instrucciones adecuadas. Específicamente, mostrarle algunos ejemplos (Few-Shot) le ayuda a superar su timidez y a seguir las reglas, mientras que para algunos robots muy específicos, una plantilla estricta y básica funciona mejor.

Sin embargo, el artículo también advierte que si un robot es demasiado pequeño (como los de 0.8 mil millones de parámetros), incluso los mejores ejemplos podrían no ser suficientes para salvarlo. Y si un robot ya está haciendo un gran trabajo, añadir ejemplos podría no ayudar mucho e incluso podría ralentizarlo innecesariamente.

En resumen, para construir un sistema de IA seguro y rápido, la receta secreta no es solo comprar el cerebro más grande; es saber hablarle al cerebro que ya tienes. Un poco de "ingeniería de prompts" puede convertir a un robot confundido y excesivamente cauteloso en un guardián agudo y eficiente.

¿Ahogado en artículos de tu campo?

Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.

Probar Digest →