Hyperparameter Analysis in Retrieval-Augmented Generation Systems Applied to the Public Prosecutor’s Office of the State of Espírito Santo Corpus

Imagina que tienes un amigo robot superinteligente que puede escribir ensayos, contar chistes y responder casi cualquier pregunta que le hagas. Este robot es como un estudiante brillante que ha leído todo el internet. Pero aquí está el truco: tiene una memoria terrible para los hechos. Si le preguntas sobre una ley específica, podría inventar con total confianza una regla que suena perfecta pero que es completamente falsa. Esto se llama "alucinación", y es un gran problema cuando necesitas información precisa, como en un tribunal o en un hospital.

Para solucionar esto, los científicos inventaron un trucción ingenioso llamado Generación Aumentada por Recuperación (RAG, por sus siglas en inglés). Piensa en esto como darle a tu amigo robot una pila de libros de texto justo antes del examen. En lugar de adivinar basándose en su propia memoria, el robot primero busca la respuesta en los libros y luego escribe su respuesta basándose solo en lo que encontró. Es como un detective que revisa el archivo de evidencia antes de escribir el informe. Pero hay un giro: cómo organizas esos libros importa. ¿Cortas las páginas en trozos diminutos? ¿Mantienes los capítulos enteros juntos? ¿Y cuántas páginas dejas que el robot lea antes de empezar a escribir? Si configuras mal estos ajustes, el robot podría perderse la pista crucial o confundirse con demasiado ruido. Este es exactamente el rompecabezas que un equipo de investigadores en Brasil decidió resolver.

---

El dilema del detective: Ajustando la máquina

En el estado de Espírito Santo, Brasil, el Ministerio Público de Espírito Santo (MPES) tiene una biblioteca masiva de documentos legales: miles de leyes, reglas y ordenanzas. Durante años, encontrar una regla específica fue una pesadilla. Los funcionarios públicos tenían que saber exactamente dónde buscar, o se quedaban estancados. Para ayudar, construyeron un asistente virtual llamado Fabi (llamada así por una empleada real y superconocedora). Fabi utiliza el truco de RAG: ella lee la biblioteca legal y responde preguntas para el personal.

Pero Fabi no era perfecta. A veces omitía detalles importantes; a veces daba respuestas vagas. Los investigadores, liderados por Heitor Quartezani y su equipo, se hicieron una pregunta simple: ¿Qué configuraciones hacen que Fabi sea el mejor detective posible? No solo adivinaron; trataron el problema como un experimento científico gigante. Probaron cada combinación de cuatro diferentes "perillas" del sistema para ver cuál producía las respuestas más precisas, honestas y útiles.

Aquí está lo que giraron y lo que encontraron:

1. La estrategia de "Corte" (Fragmentación o Chunking)

Imagina que tienes una historia legal larga y compleja. ¿Cómo la cortas para dársela al robot?

• La forma antigua (Recursiva): Cortar la historia en fragmentos de tamaño fijo, como rebanar una hogaza de pan en trozos de 500 caracteres. Es fácil, pero podrías cortar una oración por la mitad, perdiendo el sentido.
• La forma inteligente (Semántica): Cortar la historia solo cuando el tema cambia. Si la ley pasa de "reglas de vacaciones" a "pago de horas extras", ahí es donde cortas. Esto mantiene las ideas completas.

El hallazgo: Los investigadores descubrieron que la "Forma inteligente" (corte semántico) fue la clara ganadora. Específicamente, cortar basándose en el percentil 95 de los cambios de tema (es decir, cortar solo cuando el tema cambia significamente) mantuvo la mayor parte de la información intacta. La "Forma antigua" de rebanar en pequeños trozos de 500 caracteres fue terrible; rompió la lógica legal, haciendo imposible que el robot encontrara la respuesta correcta. En el trabajo legal, perder un solo detalle puede ser desastroso, por lo que mantener la historia completa fue el factor más importante.

2. El método de búsqueda (Recuperación o Retrieval)

¿Cómo encuentra Fabi las páginas correctas en la biblioteca?

• Búsqueda vectorial: Esto es como preguntarle al robot: "Busca cosas que se sientan como esta pregunta". Es genial para entender el significado, pero podría perder palabras exactas.
• Búsza léxica: Esto es como un catálogo clásico de biblioteca. Busca coincidencias de palabras exactas. Es excelente para términos específicos, pero malo para entender el contexto.
• Búsqueda híbrida: Es lo mejor de ambos mundos. Utiliza un truco matemático especial (llamado Fusión de Clasificación Recíproca) para combinar la búsqueda de "sentimiento" y la búsqueda de "palabra exacta".

El hallazgo: La Búsqueda Híbrida fue la campeona. Al combinar ambos métodos, Fabi podía encontrar los documentos correctos incluso si el usuario hacía la pregunta de una manera extraña o usaba un término legal muy específico. La búsqueda de "sentimiento" por sí sola no era suficiente, y la búsqueda de "palabra exacta" por sí sola era demasiado rígida. Juntas, hicieron que el sistema fuera mucho más confiable.

3. Cuánto leer (Top-K)

Cuando Fabi encuentra los mejores documentos, ¿cuántos debería leer antes de responder? ¿Debería leer 5 páginas? ¿20?

• El hallazgo: Cuanto más leía, mejor lo hacía, al menos hasta cierto punto. Leer 20 documentos dio los mejores resultados. Resultó que darle al robot una "red" más grande para atrapar información ayudaba a encontrar las pistas correctas, incluso si algunas de las páginas adicionales tenían un poco de ruido. Sin embargo, los investigadores notaron que después de 15 documentos, la mejora en la calidad de la respuesta final dejó de ser estadísticamente significativa. Así que, aunque leer 20 era ligeramente mejor, costaba más potencia de cómputo. Sugirieron que, en el futuro, el sistema podría usar un filtro más inteligente para leer menos páginas pero obtener los mismos grandes resultados.

4. El poder cerebral (Elección del LLM)

Finalmente, probaron dos "cerebros" diferentes para Fabi: el enorme y superinteligente gpt-4o y el más pequeño y rápido gpt-4o-mini.

• La sorpresa: Podrías pensar que el cerebro más grande y costoso ganaría. Pero el más pequeño, gpt-4o-mini, ¡en realidad funcionó igual de bien, e incluso a veces mejor!
• ¿Por qué? El cerebro gigante era tan inteligente que a veces intentaba ser demasiado creativo. Cuando el robot leía 20 documentos, el cerebro grande empezaba a mezclar ideas o a sobreinterpretar el texto, lo que llevaba a pequeños errores. El cerebro más pequeño, sin embargo, era más obediente. Se ceñía estrictamente al texto proporcionado, extrayendo los hechos sin añadir su propio "sabor". Para un asistente legal que necesita ser preciso, ser un poco más literal era en realidad un superpoder.

El veredicto final

Los investigadores no solo adivinaron; realizaron 3,840 experimentos diferentes (eso es 96 configuraciones diferentes probadas contra 40 preguntas distintas) y utilizaron matemáticas avanzadas para demostrar sus resultados.

Concluyeron que para construir el mejor asistente legal se debe:

1. Cortar los documentos por tema, no por tamaño fijo.
2. Usar una Búsqueda Híbrida que combine el significado y las palabras exactas.
3. Leer alrededor de 20 documentos para asegurar que no se pierda nada.
4. Usar el modelo de IA más pequeño y económico (gpt-4o-mini) porque sigue las instrucciones con más rigor y comete menos errores.

Este estudio es muy importante porque va más allá del "intentemos esto y veamos qué pasa". Utiliza la ciencia rigurosa para decirnos exactamente cómo ajustar estas poderosas herramientas para que no solo suenen inteligentes, sino que realmente sean inteligentes y confiables. Para el Ministerio Público, esto significa que Fabi ahora puede ayudarlos a encontrar las leyes correctas más rápido y con menos errores, haciendo que el sistema legal funcione mejor para todos.