FAMPWQ: Fisher Information-based Adaptive Mixed Precision Weight Quantization for Effective LLM Inference

Os grandes modelos de linguagem são os motores por trás de uma nova geração de inteligência artificial, capazes de escrever histórias, resolver problemas e manter conversas com uma fluência que antes parecia impossível. Esses sistemas são construídos sobre vastas redes de conexões matemáticas, conhecidas como parâmetros, que são armazenados como números na memória de um computador. Quanto mais complexo o modelo, mais memória ele exige para funcionar. Embora esses modelos tenham um desempenho brilhante em centros de dados poderosos, seu tamanho massivo os torna difíceos de usar em dispositivos cotidianos, como laptops ou smartphones, que possuem muito menos armazenamento e poder de processamento. Para preencher essa lacuna, engenheiros utilizam uma técnica chamada quantização. Esse processo simplifica os números dentro do modelo, reduzindo sua precisão para economizar espaço. No entanto, essa simplificação é um equilíbrio delicado: se os números forem arredondados de forma muito agressiva, a inteligência do modelo desaparece, e ele começa a cometer erros ou a perder sua capacidade de compreender o contexto.

Durante anos, a abordagem padrão para este problema tem sido tratar cada parte do modelo da mesma maneira. Engenheiros aplicariam um nível uniforme de simplificação a todo o sistema, de forma muito semelhante a lixar uma escultura de madeira com o mesmo grão de lixa em toda a superfície. Este método é simples, mas ignora uma realidade crucial: nem todas as partes de um modelo de linguagem são igualmente importantes. Algumas seções da rede são altamente sensíveis a mudanças, onde até mesmo um erro minúsculo pode arruinar o resultado, enquanto outras seções são robustas e podem tolerar uma simplificação significativa sem qualquer perda perceptível de qualidade. Pesquisas recentes mostraram que aplicar o mesmo nível de compressão tanto para áreas sensíveis quanto para áreas robustas força uma escolha entre desperdiçar memória em partes que não precisam dela ou destruir a inteligência do modelo ao comprimir excessivamente as partes que precisam.

Uma equipe de pesquisadores desenvolveu agora um novo método chamado FAMPWQ, que resolve este problema tratando cada camada do modelo individualmente. Em vez de aplicar uma regra única para todo o sistema, a abordagem deles mede o quão sensível cada camada específica é à compressão antes de decidir o quanto simplificá-la. Para fazer isso, eles utilizam um conceito matemático conhecido como informação de Fisher, que atua como um teste de estresse para a estrutura interna do modelo. Eles introduzem uma pequena perturbação simulada nos números de uma camada específica e observam o quanto o desempenho do modelo muda em resposta. Se o desempenho cair drasticamente, a camada é considerada sensível e é mantida com uma precisão maior. Se o desempenho permanecer estável, a camada é identificada como robusta e é comprimida de forma mais agressiva. Isso permite que o sistema preserve as partes críticas e delicadas do modelo enquanto encolhe agressivamente as partes redundantes, criando um equilíbrio personalizado para cada modelo individual.

Depois que os pesquisadores mapeiam a sensibilidade de cada camada, eles usam um algoritmo de aprendizado para decidir exatamente quantos bits de precisão atribuir a cada uma. Este algoritmo atua como um planejador estratégico, buscando a mistura perfeita de alta e baixa precisão que se ajuste dentro de um limite de memória rigoroso, mantendo a inteligência do modelo intacta. O objetivo é encontrar uma configuração onde o uso total de memória seja minimizado, mas a perda de precisão seja mantida o mais baixa possível. Ao usar essa estratégia adaptativa, os pesquisadores foram capazes de expandir os limites do que é possível com modelos comprimidos. Em testes em diversos modelos de linguagem diferentes, o método deles superou consistentemente as técnicas existentes. Quando os modelos foram comprimidos para uma média de apenas três bits por número, a nova abordagem produziu resultados significativamente mais precisos do que os de outros métodos, com alguns testes mostrando uma redução de erros de quase 7 por cento.

Os resultados deste trabalho sugerem que o futuro de rodar inteligência artificial poderosa em dispositivos menores reside na flexibilidade, em vez da uniformidade. Os pesquisadores descobriram que, ao respeitar as necessidades únicas de cada parte da rede, eles podiam manter um alto desempenho mesmo em pegadas de memória extremamente baixas. Em comparações diretas onde os modelos foram solicitados a julgar a qualidade de suas próprias respostas, o novo método venceu outras abordagens líderes em até 76 por cento dos casos. Isso indica que os modelos retiveram uma compreensão muito mais profunda de linguagem e lógica do que o anteriormente pensado sob tais restrições apertadas. Embora o método exija um período inicial de análise para determinar as melhores configurações, este custo é uma despesa única que é compensada pela capacidade de rodar esses modelos sofisticados em hardware que era anteriormente limitado demais para suportá-los. O trabalho demonstra que, ao medir cuidadosamente a fragilidade dos componentes de um sistema, podemos comprimi-lo de forma muito mais eficaz do que aplicando uma solução de tamanho único.