Resumo Técnico: LLM-FACETS

Declaração do Problema

A auditoria de Grandes Modelos de Linguagem (LLMs) para garantir que os outputs sejam fundamentados em fatos, epistemicamente calibrados e metodologicamente reproduzíveis é um pré-requisito para a implantação responsável de IA. No entanto, as práticas de avaliação atuais permanecem inacessíveis aos profissionais não técnicos (especialistas de domínio e oficiais de conformidade) que detêm a responsabilidade legal e ética pela supervisão da IA. As ferramentas existentes apresentam três barreiras primárias:

1. Complexidade Técnica: Bibliotecas programáticas (ex: DeepEval, Ragas) exigem perícia em programação, configuração de ambiente e gerenciamento de dependências.
2. Riscos de Soberania de Dados: Plataformas hospedadas na nuvem (ex: LangSmith, Arize Phoenix) transmitem dados de avaliação para serviços externos, criando conflitos com regulamentações como o GDPR e a Lei de IA da UE no que diz respeito ao processamento de dados pessoais.
3. Transparência Fragmentada: As ferramentas existentes muitas vezes carecem de abordagens metodológicas sistemáticas para avaliação multidimensional, falhando em abordar as distintas necessidades de transparência de diferentes perfis de stakeholders.

Além disso, o campo enfrenta uma crise de reprodutibilidade devido a implementações de métricas inconsistentes e à falta de basais padronizadas e validadas cruzadamente.

Metodologia

O artigo introduz o LLM-FACETS (LLM FActuality Cross-EvaluaTion System), um framework de código aberto projetado para operacionalizar a transparência através de um fluxo de trabalho estruturado e uma arquitetura que preserva a privacidade.

1. Framework Centrado no Profissional

O framework é estruturado em torno de três perfis de profissionais, mapeando papéis específicos de responsabilidade para objetivos de transparência:

• Especialistas Técnicos: Focam na transparência epistêmica e factual (diagnosticando origens de alucinação via log-probabilidades e métricas do RAG Triad).
• Especialistas de Domínio: Focam na transparência factual e de processo (avaliando a confiabilidade dentro de um domínio via pontuações de Fidelidade [Faithfulness] e consenso de múltiplos juízes).
• Oficiais de Conformidade: Focam na transparência de processo (certificação regulatória via auditorias em lote e trilhas exportáveis em JSON/CSV).

2. Arquitetura e Modelo de Privacidade

O LLM-FACETS é uma aplicação Next.js composta por um cliente de navegador e um processo de servidor stateless auto-hospedado. Ele impõe a soberania de dados através de:

• Traga Sua Própria Chave (BYOK - Bring Your Own Key): As chaves de API são armazenadas exclusivamente no navegador do usuário (IndexedDB) e transmitidas apenas durante a duração de uma única requisição. Elas nunca são persistidas no servidor.
• Computação In-Process: Métricas determinísticas (BLEU, ROUGE, METEOR, BERTScore) rodam inteiramente dentro do servidor auto-hospedado usando Transformers.js e DuckDB para consultas de datasets. Nenhum dado de avaliação sai da infraestrutura do profissional para estas tarefas.
• Anonimização Preservadora de Privacidade: Um pipeline configurável mascara Informações de Identificação Pessoal (PII) usando regex, NER local (compromise.js) ou Presidio auto-hospedado antes que qualquer texto seja enviado para APIs externas de LLM.

3. Fluxo de Trabalho de Avaliação

O framework impõe um fluxo de trabalho de cinco etapas (Algoritmo 1):

1. Definir Objetivo de Transparência: Selecionar a dimensão (epistêmica, factual ou de processo).
2. Selecionar Métricas: Escolher pelo menos duas métricas que visem a mesma propriedade para permitir a verificação cruzada.
3. Carregar Dataset: Usar benchmarks integrados (SQuAD v2, HaluEval) ou fazer upload de dados proprietários.
4. Verificar Resultados Cruzados: Analisar a correlação inter-métrica (correlação de Pearson) para detectar divergências.
5. Empacotar Evidências: Exportar artefatos estruturados contendo pontuações, configurações e cadeias de raciocínio.

4. Métricas Implementadas

O framework operacionaliza quatro dimensões de transparência:

• Fundamentação de Linha de Base (Baseline Grounding): Métricas determinísticas (BLEU, ROUGE, METEOR, BERTScore) validadas cruzadamente contra bibliotecas Python canônicas.
• Transparência Epistêmica: Visualização de log-probabilidade ao nível de token para avaliar a confiança e incerteza do modelo.
• Transparência Factual: O RAG Triad (Fidelidade, Relevância da Resposta, Relevância do Contexto) para rastrear outputs até as fontes recuperadas.
• Transparência de Processo: Consenso de Multi-Juiz (módulo Jury) e Topologias de Avaliação para mitigar o viés de posição e quantificar a variância do avaliador.

Principais Contribuições

1. Framework Metodológico: Uma abordagem estruturada que conecta objetivos de transparência a práticas de avaliação concretas, adaptada a três perfis distintos de profissionais definidos pela Lei de IA da UE e pelo Framework de Gestão de Risco de IA do NIST.
2. Ferramental Unificado: Uma interface acessível via navegador que não requer conhecimento de programação, entregando mecanismos de auditoria de transparência (visualização de log-probabilidade, RAG Triad, consenso de multi-juiz) em uma única plataforma.
3. Implementação Open-Source: Um framework baseado em TypeScript com 18 variantes de métricas validadas cruzadamente contra bibliotecas de referência em Python. Possui uma arquitetura de plugin onde a adição de novas métricas ou datasets atualiza automaticamente a navegação, o dashboard e a API sem modificar o pipeline central.
4. Garantias de Soberania de Dados: Um design arquitetônico que separa explicitamente a computação determinística local das chamadas externas de LLM, garantindo conformidade com o GDPR e regulamentações de proteção de dados.

Resultados e Validação

• Validação Cruzada: As implementações de métricas determinísticas (BLEU, ROUGE, METEOR, BERTScore) foram testadas contra 267 casos de validação usando bibliotecas Python canônicas (NLTK, Hugging Face evaluate). Os resultados mostraram um erro absoluto abaixo de $10^{-5}$, confirmando a reprodutibilidade numérica.
• Estabilidade: Execuções repetidas ($n=5$) utilizando gpt-4o-mini para métricas baseadas em LLM (RAG Triad, G-Eval, Jury) demonstraram um desvio padrão ($\sigma$) inferior a 0,05, indicando estabilidade de pontuação suficiente para uso em produção.
• Performance: O processamento de 13.369 amostras (incluindo geração de texto e métricas tradicionais) em um servidor de alto desempenho levou 24,7 segundos. O motor de computação de métricas in-process executou as métricas tradicionais em 6,7 segundos (0,5 ms/amostra/métrica), demonstrando alta eficiência.
• Casos de Uso: O artigo ilustra três cenários (Depuração de Desenvolvedor, Auditoria de Oficial de Conformidade, Validação de Especialista de Domínio) demonstrando como o framework permite que diferentes papéis realizem suas tarefas específicas de supervisão sem codificação ou dependência de processadores de dados externos.

Significância e Alegações

O artigo alega que o LLM-FACETS aborda uma lacuna crítica no ecossistema de IA ao desacoplar a responsabilidade da IA das equipes que constroem os sistemas. Ao fornecer uma ferramenta que é simultaneamente acessível a profissionais não técnicos e rigorosa o suficiente para verificação científica, o objetivo é:

• Democratizar a Supervisão: Permitir que especialistas de domínio e oficiais de conformidade avaliem independentemente os sistemas de IA, cumprindo os requisitos funcionais da Lei de IA da UE (Artigo 14) e do GDPR.
• Garantir a Reprodutibilidade: Estabelecer uma fundação para a ciência aberta, fornecendo implementações de métricas de avaliação validadas cruzadamente e transparentes, combatendo a natureza de "caixa preta" das APIs de avaliação proprietárias.
• Governança Preparada para o Futuro: Através de sua arquitetura de plugin, o framework é projetado para evoluir com o campo, permitindo que novas métricas e datasets sejam integrados sem uma reformulação arquitetural, apoiando a conformidade regulatória de longo prazo.

Os autores reconhecem limitações, incluindo os vieses inerentes aos métodos de LLM-as-a-Judge, a falta de estudos de usuários formais com stakeholders e a dependência atual de provedores que expõem log-probabilidades. Eles posicionam o LLM-FACETS como um passo prático em direção a um ecossistema de avaliação colaborativo e multissetorial, em vez de uma solução final para todos os desafios de transparência de IA.